Das Wichtigste in Kürze
Das Wichtigste in Kürze- Deloitte Australia musste nach erfundenen Quellen in einem Regierungsbericht einen Teil des Honorars von 440'000 australischen Dollar zurückzahlen
- Laut einer Deloitte-Umfrage haben 38 Prozent der Führungskräfte schon Fehlentscheidungen auf Basis halluzinierter KI-Ausgaben getroffen
- RAG senkt Halluzinationen deutlich, beseitigt sie aber nicht, selbst spezialisierte Rechts-KI-Tools halluzinierten in Stanford-Tests in 17 bis 34 Prozent der Fälle
- Verlässlichkeit entsteht durch Architektur, also Quellenbindung, Zitatprüfung, definierte Schweigepunkte und menschliche Abnahme vor Aussenwirkung
Ein 237-seitiger Bericht für die australische Regierung, verfasst mit KI-Unterstützung, geprüft von einem der grössten Beratungshäuser der Welt, und darin erfundene Studien, falsche Fussnoten und ein ausgedachtes Gerichtszitat. Deloitte musste einen Teil des Honorars von 440'000 australischen Dollar zurückerstatten. Der Fall ist deshalb lehrreich, weil er nicht von Nachlässigkeit handelt, sondern von einem Denkfehler, dem Vertrauen, dass ein flüssiger, plausibler Text auch ein korrekter Text ist.
Warum Sprachmodelle halluzinieren
Ein Sprachmodell rechnet keine Fakten nach, es setzt Wahrscheinlichkeiten fort. Auf die Frage nach einer Quelle produziert es das, was eine Quelle statistisch plausibel aussehen lässt, also Autor, Jahr, Fachzeitschrift, Seitenzahl. Ob diese Quelle existiert, spielt für den Erzeugungsprozess keine Rolle. Das Ergebnis wirkt umso überzeugender, je besser das Modell ist, denn gute Modelle formulieren auch ihre Fehler souverän. Genau das macht Halluzinationen im Geschäftskontext so gefährlich, sie sehen aus wie Qualität.
Die Folgekosten sind messbar. In einer Deloitte-Umfrage gaben 38 Prozent der Führungskräfte an, bereits Fehlentscheidungen auf Basis halluzinierter KI-Ausgaben getroffen zu haben. Und die Fälle häufen sich quer durch die Professionen, denn neben Deloitte zog EY Canada eine Studie mit fabrizierten Referenzen zurück, und selbst Top-Anwaltskanzleien mussten Gerichtseingaben mit erfundenen Präzedenzfällen erklären.
Was RAG leistet und was nicht
Retrieval Augmented Generation, kurz RAG, ist die wichtigste Gegenmassnahme. Das Modell antwortet nicht aus dem Gedächtnis, sondern erhält vor der Antwort die relevanten Dokumente aus einer kontrollierten Wissensbasis und wird angewiesen, sich darauf zu stützen. Richtig umgesetzt senkt das die Halluzinationsrate drastisch, Analysen sprechen von bis zu 71 Prozent Reduktion. Aber RAG ist kein Schalter, der das Problem beendet. Die Stanford-Untersuchung zu spezialisierten Rechts-KI-Tools, allesamt mit RAG entwickelt, fand je nach Werkzeug immer noch Halluzinationen in 17 bis 34 Prozent der Testanfragen.
38%
der Führungskräfte trafen Fehlentscheide wegen halluzinierter KI-Ausgaben (Deloitte)
17-34%
Halluzinationsrate spezialisierter Rechts-KI-Tools trotz RAG (Stanford HAI)
bis 71%
Reduktion der Halluzinationen durch sauber umgesetztes RAG
AU$ 440'000
Vertragsvolumen im Deloitte-Fall, Teilrückzahlung inklusive
Der Prüfprozess, der in jedes System gehört
Verlässliche KI-Systeme entstehen nicht durch das beste Modell, sondern durch eine Kette von Kontrollen. In unseren Projekten hat sich ein fünfstufiges Muster bewährt.
- 1Quellenbindung heisst, das System darf nur aus der definierten Wissensbasis antworten. Jede Aussage trägt einen Verweis auf das Ursprungsdokument.
- 2Schweigepflicht bei Lücken bedeutet, findet das System keine belastbare Quelle, sagt es das. 'Dazu liegt mir nichts vor' ist eine korrekte Antwort, eine erfundene ist ein Schaden.
- 3Die automatische Zitatprüfung prüft Referenzen, Zahlen und Links maschinell gegen die Quelle, bevor die Antwort das System verlässt.
- 4Mensch vor Aussenwirkung heisst, alles, was das Haus verlässt, vom Angebot bis zum Bericht, passiert eine menschliche Abnahme. Intern darf die KI schneller sein als perfekt, extern nicht.
- 5Stichproben im Betrieb bleiben Pflicht, auch ein eingespieltes System wird laufend stichprobenartig geprüft, denn Wissensbasis und Fragen verändern sich.
Halluzinationen sind kein Kinderkrankheits-Problem, das die nächste Modellgeneration erledigt. Sie sind eine Eigenschaft der Technologie, mit der man konstruieren muss. Die gute Nachricht ist, dass mit Quellenbindung, Prüfautomatik und klaren Freigabestufen aus einem unkalkulierbaren Risiko ein beherrschter Qualitätsprozess wird. Wie ein solcher Wissensassistent in der Praxis aussieht, beschreiben wir in unserem Beitrag zu Firmenwissen auf Abruf.
Quellen
- Vectara: When AI 'Assures' Without Evidence, Lessons from Deloitte's $290K Hallucination, https://www.vectara.com/blog/when-ai-assures-without-evidence-lessons-from-deloittes-dollar290k-hallucination
- Stanford HAI: AI on Trial, Legal Models Hallucinate in 1 out of 6 (or More) Benchmarking Queries, https://hai.stanford.edu/news/ai-trial-legal-models-hallucinate-1-out-6-or-more-benchmarking-queries
- KoreaDeep: AI Hallucinations Hit Deloitte, EY, and a Top Law Firm, https://koreadeep.com/en/blog/ai-hallucinations-consulting-reports-lesson
- IntuitionLabs: AI Hallucinations in Business, Causes and Prevention, https://intuitionlabs.ai/articles/ai-hallucinations-business-causes-prevention
- Suprmind: AI Hallucination Statistics 2026, https://suprmind.ai/hub/insights/ai-hallucination-statistics-research-report-2026/
Fazit von Marcel
Der Deloitte-Fall ist für mich das Lehrstück des Jahres, nicht weil KI eingesetzt wurde, sondern weil der Prüfprozess der Geschwindigkeit des Werkzeugs geopfert wurde. Halluzinationen sind kein Kinderkrankheits-Problem, das die nächste Modellgeneration erledigt, sie sind eine Eigenschaft der Technologie. In unseren Systemen gelten deshalb ausnahmslos Quellenbindung, automatische Zitatprüfung und menschliche Abnahme für alles, was das Haus verlässt.
Marcel Kaschner · Founder & Managing Director, ZAVION
Häufige Fragen
Warum halluzinieren Sprachmodelle?
Weil sie keine Fakten nachrechnen, sondern Wahrscheinlichkeiten fortsetzen. Auf die Frage nach einer Quelle produziert das Modell, was statistisch plausibel aussieht, also Autor, Jahr, Fachzeitschrift und Seitenzahl. Ob die Quelle existiert, spielt für den Erzeugungsprozess keine Rolle, und je besser das Modell, desto souveräner formuliert es auch seine Fehler.
Löst RAG das Halluzinations-Problem?
Es reduziert es deutlich, beseitigt es aber nicht. Sauber umgesetztes RAG senkt die Halluzinationsrate laut Analysen um bis zu 71 Prozent. Die Stanford-Untersuchung zu spezialisierten Rechts-KI-Tools, allesamt mit RAG entwickelt, fand aber immer noch Halluzinationen in 17 bis 34 Prozent der Testanfragen. RAG ist eine Massnahme, kein Schalter.
Wie verhindert man Schäden durch KI-Halluzinationen?
Mit einer Kette von Kontrollen statt Vertrauen ins Modell, nämlich Quellenbindung mit Verweis auf das Ursprungsdokument, definierten Schweigepunkten ('Dazu liegt mir nichts vor' statt einer erfundenen Antwort), automatischer Zitatprüfung gegen die Quelle, menschlicher Abnahme vor jeder Aussenwirkung und laufenden Stichproben im Betrieb.
Wie teuer können Halluzinationen im Geschäftskontext werden?
Sie können real teuer werden. Deloitte Australia musste nach erfundenen Quellen in einem Regierungsbericht einen Teil des Honorars von 440'000 australischen Dollar zurückzahlen. Und laut einer Deloitte-Umfrage haben 38 Prozent der Führungskräfte bereits Fehlentscheidungen auf Basis halluzinierter KI-Ausgaben getroffen. Der Reputationsschaden kommt jeweils dazu.
