Halluzination
Eine Halluzination ist eine Antwort eines Sprachmodells, die sprachlich überzeugend klingt, inhaltlich aber falsch oder frei erfunden ist, etwa eine nicht existierende Quelle, eine falsche Zahl oder eine Regel, die es so nicht gibt.
Stand:
Auch: Konfabulation
Halluzinationen entstehen, weil ein Sprachmodell wahrscheinlichen Text erzeugt, nicht geprüftes Wissen. Fehlt ihm die Information, füllt es die Lücke mit etwas, das plausibel klingt. Das ist kein seltener Defekt, sondern eine Eigenschaft der Technik, mit der jeder Einsatz rechnen muss.
Drei Gegenmittel haben sich bewährt. Erstens: dem Modell die richtigen Daten mitgeben, zum Beispiel über RAG, und es anweisen, nur aus diesem Material zu antworten. Zweitens: Quellen anzeigen lassen, damit ein Mensch die Aussage in Sekunden prüfen kann. Drittens: dem Modell erlauben, nicht zu antworten. Ein Bot, der sagt, dass er etwas nicht weiß, und an einen Menschen übergibt, ist wertvoller als einer, der immer eine Antwort hat.
Wo eine falsche Aussage Geld oder Vertrauen kostet, also bei Preisen, Fristen, Rechtsfragen oder Zusagen an Kunden, gehört ein Freigabeschritt in den Ablauf. Die KI bereitet vor, der Mensch bestätigt. Das ist auch die Haltung, die Ihre KI-Nutzungsrichtlinie den Mitarbeitern vermitteln sollte.