Letzte Woche hat ein Geschäftsführer aus dem Mittelstand mir erzählt, dass sein Team einen AI-generierten Vertragsentwurf fast an den Kunden geschickt hätte. Fast — weil eine aufmerksame Juristin bemerkt hat, dass zwei der zitierten Paragraphen schlicht nicht existieren. Die AI hatte sie erfunden. Überzeugend formuliert, korrekt formatiert, komplett frei erfunden.
Das ist kein Einzelfall. Das ist 2026 noch immer Alltag.
Trotz GPT-5, Claude Opus 4, Gemini 3 Pro und all den anderen Frontier-Modellen, die mittlerweile verfügbar sind: AI-Halluzinationen sind nicht verschwunden. Sie sind subtiler geworden. Und genau das macht sie gefährlicher.
Was sind AI-Halluzinationen eigentlich?
Kurz und ohne Wikipedia-Sprache: Eine AI halluziniert, wenn sie etwas behauptet, das nicht stimmt — und dabei so klingt, als wäre sie sich absolut sicher.
Das ist kein Bug im klassischen Sinne. Es ist eine Konsequenz davon, wie Large Language Models funktionieren. Sie generieren Text, der statistisch plausibel ist. Nicht Text, der faktisch korrekt ist. Das sind zwei fundamental verschiedene Dinge.
Ein LLM "weiß" nichts. Es hat Muster gelernt. Wenn die Muster auf eine plausible, aber falsche Antwort hindeuten, liefert es diese Antwort — mit der gleichen Überzeugung wie eine richtige.
Warum passiert das noch immer?
Drei Gründe, die sich auch 2026 nicht grundlegend geändert haben:
1. Architektur-Grenzen. Transformer-Modelle sind Mustererkenner, keine Wissens-Datenbanken. Egal wie groß das Modell ist — es arbeitet mit statistischen Wahrscheinlichkeiten, nicht mit verifiziertem Wissen.
2. Trainingsdaten haben ein Verfallsdatum. Jedes Modell hat einen Knowledge Cutoff. Was nach diesem Datum passiert ist, kennt es nicht. Schlimmer noch: Was in den Trainingsdaten falsch war, hat es als Muster übernommen.
3. Confidence ≠ Correctness. Modelle haben kein internes "Ich bin mir nicht sicher"-Signal, das zuverlässig funktioniert. Sie können Unsicherheit simulieren, aber das ist nicht dasselbe wie echtes epistemisches Bewusstsein.
Was 2026 wirklich hilft
Nach hunderten von AI-Implementierungen — für unsere Kunden und für uns selbst — haben wir ein ziemlich klares Bild davon, was funktioniert. Und was nicht.
RAG: Retrieval-Augmented Generation
RAG ist mittlerweile Standard, aber immer noch die effektivste Einzelmaßnahme gegen Halluzinationen. Das Prinzip ist simpel: Statt die AI aus dem Gedächtnis antworten zu lassen, gibst du ihr die relevanten Dokumente vor der Antwort.
Konkret: Bevor das Modell eine Antwort generiert, sucht ein Retrieval-System die passenden Informationen aus deiner Wissensbasis — Verträge, Handbücher, Produktdaten, was auch immer relevant ist. Das Modell antwortet dann auf Basis dieser Dokumente, nicht auf Basis seiner Trainingsdaten.
Der Unterschied in der Praxis ist enorm. Statt "Das Modell glaubt, die Antwort sei X" bekommst du "Laut Dokument Y auf Seite Z ist die Antwort X."
Aber: RAG ist kein Allheilmittel. Die Qualität der Retrieval-Pipeline entscheidet über alles. Schlechtes Chunking, falsche Embeddings, keine Relevanz-Filterung — und du bekommst halluzinierte Antworten mit Quellenangabe. Das ist fast schlimmer.
Grounding mit echten Datenquellen
Grounding geht einen Schritt weiter als RAG. Hier verbindest du die AI direkt mit Live-Datenquellen: APIs, Datenbanken, ERP-Systeme, CRM. Die AI behauptet nicht, was der Lagerbestand ist — sie fragt das System ab und gibt dir das Ergebnis.
Das klingt offensichtlich, aber die meisten Unternehmen, die zu uns kommen, nutzen AI noch immer als isolierte Textmaschine. Ohne Anbindung an ihre eigenen Systeme.
Grounding macht aus einer "klugen Schätzung" eine verifizierte Auskunft. Das ist der Unterschied zwischen einem beeindruckenden Demo und einem produktionstauglichen System.
Multi-Step Verification und Chain-of-Thought
Eine einzelne AI-Antwort ist wie eine einzelne Meinung. Hilfreich, aber nicht verlässlich genug für kritische Entscheidungen.
Was hilft: Die AI in mehreren Schritten arbeiten lassen. Erst recherchieren, dann antworten, dann die eigene Antwort gegen die Quellen prüfen. Chain-of-Thought-Prompting zwingt das Modell, seinen Denkweg offenzulegen — und macht Fehler sichtbar, bevor sie im Output landen.
Noch besser: Mehrere Modelle oder mehrere Durchläufe verwenden und die Ergebnisse vergleichen. Wenn drei unabhängige Runs zum gleichen Ergebnis kommen, ist die Wahrscheinlichkeit einer Halluzination deutlich geringer.
Human-in-the-Loop
Die wichtigste Erkenntnis nach zwei Jahren AI-Implementierung: Die besten Systeme ersetzen keine Menschen. Sie machen Menschen schneller und besser.
Human-in-the-Loop bedeutet nicht, dass jemand jede AI-Antwort manuell prüft. Es bedeutet, dass das System erkennt, wann eine menschliche Prüfung nötig ist — bei geringer Konfidenz, bei kritischen Entscheidungen, bei neuen Szenarien.
Das ist kein Eingeständnis von Schwäche. Das ist gutes Engineering.
Domain-spezifisches Fine-Tuning
Generische Modelle sind Generalisten. Für Fachthemen — Recht, Medizin, Ingenieurwesen, Versicherung — reicht das oft nicht. Fine-Tuning auf domänenspezifische Daten reduziert Halluzinationen messbar, weil das Modell die Fachsprache, die Zusammenhänge und die typischen Muster der Domäne verinnerlicht.
Das ist aufwändig und nicht für jeden Use Case nötig. Aber wenn du ein AI-System baust, das Versicherungsschäden bewertet oder technische Dokumentationen erstellt, ist Fine-Tuning keine Option — es ist eine Voraussetzung.
Was NICHT hilft (aber viele glauben)
"Einfach ein größeres Modell nehmen"
Die nächste Modellgeneration wird nicht das Halluzinations-Problem lösen. Auch GPT-5 und Claude Opus 4 halluzinieren — seltener bei häufigen Themen, aber genauso zuverlässig bei Nischenthemen und aktuellen Informationen. Mehr Parameter bedeuten bessere Muster — nicht besseres Wissen.
"Prompt Engineering löst alles"
Gute Prompts helfen. Aber sie sind kein Ersatz für Architektur. "Antworte nur basierend auf Fakten" in einen System-Prompt zu schreiben, ändert nicht, wie das Modell intern funktioniert. Es ändert nur, wie der Output klingt. Das Modell wird seine erfundenen Fakten überzeugender als Fakten präsentieren. Das ist nicht besser — das ist gefährlicher.
Prompt Engineering ist ein Werkzeug, kein Fundament.
Unser Ansatz bei cierra
Wir haben diese Lektionen nicht aus einem Lehrbuch. Wir haben sie aus der Praxis — beim Bau von AI-Systemen für unsere Kunden und beim Entwickeln unserer eigenen AI, Cira.
Cira ist unser zentrales AI-System. Sie verwaltet Projekte, kommuniziert mit Kunden, verarbeitet Dokumente und trifft operative Entscheidungen. Nicht als Demo, sondern im täglichen Einsatz. Das funktioniert nur, weil wir jede der oben genannten Methoden implementiert haben:
- RAG für den Zugriff auf aktuelle Projekt- und Unternehmensdaten
- Grounding durch direkte Anbindung an unsere Systeme — Kalender, Projektmanagement, Buchhaltung, Code-Repositories
- Multi-Step Workflows, die kritische Aktionen durch Prüfschleifen leiten
- Human-in-the-Loop für alles, was nach außen geht — E-Mails, Verträge, Kundenkommunikation
Das Ergebnis: Ein AI-System, dem wir echte Verantwortung übertragen können. Nicht weil wir der AI blind vertrauen, sondern weil wir die Architektur so gebaut haben, dass Vertrauen gerechtfertigt ist.
Was Unternehmen jetzt tun sollten
Wenn du AI produktiv einsetzt oder einsetzen willst, hier die drei wichtigsten Schritte:
1. Hör auf, AI wie eine Suchmaschine zu behandeln. Ohne Zugriff auf deine Daten ist jede AI-Antwort eine qualifizierte Schätzung. Investiere in RAG und Grounding, bevor du über Use Cases nachdenkst.
2. Baue Prüfmechanismen ein, bevor du skalierst. Halluzinationen in einem Pilotprojekt sind lehrreich. Halluzinationen in der Produktion sind teuer. Oder schlimmer.
3. Akzeptiere, dass AI ein Werkzeug ist — kein Orakel. Die besten AI-Implementierungen, die wir sehen, sind die, in denen AI und Mensch zusammenarbeiten. Nicht die, in denen AI den Menschen ersetzt.
AI-Halluzinationen werden uns noch eine Weile begleiten. Die Frage ist nicht, ob dein System halluziniert. Die Frage ist, ob du es merkst, wenn es passiert.
Vittorio Emmermann ist CEO von cierra, einem Technologie- und AI-Unternehmen. cierra entwickelt AI-Lösungen für Unternehmen — mit dem Anspruch, dass AI nicht nur beeindruckend klingt, sondern zuverlässig funktioniert.
