Eines Tages tauschte ich Ideen aus mit ChatGPT Plötzlich begann er eine lange, erfundene Geschichte zu erzählen, die nichts mit meinen Aufforderungen zu tun hatte. Sie war so lächerlich, dass ich lachen musste. In letzter Zeit sind mir solche Fehler bei Textaufforderungen nicht mehr so häufig begegnet, bei der Bildgenerierung hingegen schon.
Diese zufälligen Momente, in denen der Chatbot von seiner Aufgabe abweicht, werden als „Halluzinationen“ bezeichnet. Das Seltsame daran ist, dass dieser Bot den falschen Antworten vertraut, die er gibt – eine der größten Schwächen heutiger KI-Assistenten. Allerdings Eine neue Studie von OpenAI Diese Fehler sind jedoch nicht zufällig, sondern eine direkte Folge der Art und Weise, wie die Modelle trainiert und ausgewertet werden.
Warum raten Chatbots ständig, obwohl sie das nicht sollten?
Untersuchungen deuten darauf hin, dass diese Halluzinationen auf ein strukturelles Problem zurückzuführen sind. Die Ursache des Problems liegt in den Standards und Bestenlisten, die KI-Modelle bewerten und sichere Antworten belohnen.
Anders ausgedrückt: Wenn ein Chatbot sagt „Ich weiß nicht“, wird er im Test bestraft. Das bedeutet, dass die Modelle aktiv dazu angehalten werden, immer eine Antwort zu geben, auch wenn sie sich nicht sicher sind, ob diese richtig ist.
In der Praxis führt dies dazu, dass Ihr intelligenter Assistent eher rät, als Unsicherheiten zu berücksichtigen. Bei einfachen, alltäglichen Fragen mag das harmlos sein. Doch in sensibleren Situationen, von medizinischen Fragen bis hin zur Finanzberatung, können diese selbstsicheren Fehler schnell zu echten Risiken werden.
Als erfahrener Nutzer überprüfe ich deshalb immer die Fakten und frage den Chatbot nach einer Quelle. Manchmal, wenn die Informationen weit hergeholt erscheinen und ich nach einer Quelle frage, antwortet der Chatbot etwas wie „Guter Punkt!“ oder etwas Ähnliches, ohne zuzugeben, dass er falsch war.
Neuere Modelle sind davon nicht immun.
Interessanterweise stellte das OpenAI-Papier fest, dass inferenzorientierte Modelle wie o3 und o4-mini tatsächlich häufiger halluzinieren als einige ältere Modelle. Warum? Weil sie im Allgemeinen mehr Behauptungen produzieren, was mehr Fehlermöglichkeiten bedeutet.
Nur weil ein Modell bei der Schlussfolgerung „intelligenter“ ist, heißt das also nicht unbedingt, dass es wahrheitsgetreuer ist, was das angeht, was es nicht weiß.
Was ist die Lösung für dieses Problem?
Forscher glauben, dass die Lösung darin liegt, die Art und Weise zu ändern, wie wir KI bewerten und messen. Anstatt Modelle für die Aussage „Ich bin mir nicht sicher“ zu bestrafen, sollten aussagekräftigere Tests kalibrierte Antworten, Hinweise auf Unsicherheit oder die Möglichkeit, auf andere Quellen zurückzugreifen, belohnen.
Dies könnte bedeuten, dass Ihr zukünftiger Chatbot seine Antworten stärker absichert und weniger auf den Ansatz „Das ist die Antwort“ und mehr auf den Ansatz „Das denke ich, bin mir aber nicht sicher“ setzt. Das mag zwar langsamer erscheinen, könnte aber schädliche Fehler deutlich reduzieren. Das beweist, dass kritisches Denken unsererseits nach wie vor wichtig ist.
Wie wichtig ist Ihnen das?
Wenn Sie beliebte Chatbots wie ChatGPT, Gemini, Claude oder Grok verwenden, haben Sie wahrscheinlich schon einmal „Halluzinationen“ erlebt. Diese Forschung legt nahe, dass es nicht ausschließlich um das Modell selbst geht, sondern vielmehr um die Art und Weise, wie es getestet wird – wie bei einem Glücksspiel, bei dem es darum geht, wer die meiste Zeit richtig liegt.
Für Nutzer bedeutet dies, dass wir vorsichtig sein und KI-Antworten als ersten Vorschlag und nicht als endgültiges Wort betrachten müssen. Für Entwickler ist dies ein Zeichen dafür, dass es an der Zeit ist, die Erfolgsmessung zu überdenken, damit zukünftige KI-Assistenten erkennen, was sie nicht wissen, anstatt schwerwiegende Fehler zu machen.
Kommentarfunktion ist geschlossen.