Meine Freundin hat Krebs: Sie hat ChatGPT aus medizinischen Gründen konsultiert, und das hat mich sehr erschüttert.

Ich schrieb diesen Artikel gegen 3 Uhr morgens in der Lobby einer Klinik, während meine Freundin im Nebenzimmer mit dem Onkologen sprach. Der Geruch von Medikamenten lag natürlich schwer in der Luft, und eine unverkennbare Düsternis lag in der Luft, sodass ich am liebsten sofort wieder weg wollte. Doch das überwältigende Gefühl, das mich ergriff, war tiefe Wut.

Vor einer Stunde rief mich meine 24-jährige Freundin an und klagte über starke Kopf- und Bauchschmerzen. Sie befindet sich derzeit in Behandlung wegen Brustkrebs, und da ich sie in den letzten zwei Jahren durch diese schwere Zeit begleitet habe, bin ich sofort zu ihr gefahren, in der Hoffnung, dass es nichts Ernstes sei. Ohne viele Fragen zu stellen, suchte ich das nächstgelegene Krankenhaus auf und brachte sie zur Untersuchung.

Auf dem Weg ins Krankenhaus fragte ich sie, wann die Schmerzen begonnen hatten und ob sie noch andere besorgniserregende Symptome gehabt hätte. Ihre Antwort schockierte mich so sehr, dass ich am liebsten ihr Handy entrissen und zerschmettert hätte. „Nachdem ich von der Arbeit nach Hause gekommen war, war mir etwas schwindelig und ich hatte auch das Gefühl, dass etwas mit meinem Magen nicht stimmte. Deshalb fragte ich ChatGPT, ob ich Schmerzmittel nehmen könnte, und ein paar Stunden später verschlimmerten sich meine Magenschmerzen und ich bekam ein brennendes Gefühl. Außerdem musste ich mich mehrmals übergeben.“

Wer ist für verantwortungsvolles Handeln verantwortlich?

Ihre Geständnisse schockierten mich, und der beiläufige Ton, in dem sie ihre Interaktionen mit ChatGPT schilderte, war noch beunruhigender. Dieser unglückliche Vorfall ist jedoch so vielschichtig, dass ich beschlossen habe, KI von meinen Angehörigen fernzuhalten, insbesondere wenn es um Gespräche über Gesundheit und Wohlbefinden geht. Da ich selbst sehr empfindlich auf Medikamente reagiere und mich in Krebsbehandlung befinde, war die Frage einer KI nach der Einnahme von Medikamenten das Letzte, was ein vernünftiger Mensch erwarten würde.

Ich weiß nicht genau, wer die Schuld an diesem riskanten, potenziell lebensbedrohlichen Abenteuer trägt. Sie hat einfach ein Foto einer Schmerztablette gemacht, es bei ChatGPT hochgeladen und gefragt, ob sie zwei gleichzeitig nehmen dürfe. Ihr Arzt hatte ihr empfohlen, immer nur eine Tablette zu nehmen, selbst bei unerträglichen Schmerzen. ChatGPT riet ihr, nur eine Schmerztablette zu nehmen und zwei nur auf ärztliche Anweisung.

Als ich sie fragte, warum sie auf einen KI-Bot zurückgegriffen hatte, erklärte sie mir später, ChatGPT sei „einfacher, um Antworten zu bekommen. Ich weiß ja gar nicht mehr, was online stimmt.“ Da sie nach dem Abitur die Schule abbrechen und ihre Familie mit Gelegenheitsjobs unterstützen musste, konnte ich ihre Lage gut nachvollziehen. Ich konnte ihr keine Lektionen in digitaler Kompetenz und Faktenprüfung erteilen. In dem Gespräch gab es einige Missverständnisse, und wir beide tragen eine Mitschuld.

Und hier beginnt das Problem. Meine Freundin spricht kein Hindi als Muttersprache, und als ich ihre Anfrage ins Hindi übersetzte, wurde daraus wegen nur eines Wortes ein grammatikalisches Desaster. Sie wollte fragen, ob sie zwei Tabletten des abgebildeten Medikaments nehmen dürfe. Doch ihre holprige Übersetzung ließ es so klingen, als würde sie ChatGPT fragen, ob sie „beide Tabletten“ nehmen dürfe.

Hier patzte ChatGPT erneut. Das Bild zeigte eine Pille, von der nur die chemische Zusammensetzung – Diclofenac und Serraptiopeptidase – erkennbar war. Der Name des Medikaments war nur teilweise lesbar. Trotzdem identifizierte der KI-Bot das Schmerzmittel korrekt als „etwas wie Cipzen-D“. Zuvor hatte er jedoch auch ein anderes Medikament, Fenak Plus, erwähnt, dessen chemische Zusammensetzung ebenfalls Diclofenac und Paracetamol ist und das er bereits in einem anderen Gespräch besprochen hatte.

Es handelt sich um eine völlig andere Zusammensetzung, obwohl beide als rezeptfreie Schmerzmittel erhältlich sind und (besorgniserregenderweise) ohne Rezept in Apotheken vor Ort erworben werden können. Insgesamt liegt also ein menschlicher Fehler (bei der Übersetzung) und zwei Fehler seitens ChatGPT vor, da er sich auch auf sein Gedächtnis verlassen hat. Der Rat war jedoch korrekt.

Der OpenAI-KI-Bot warnte eindringlich davor, beide Medikamente gleichzeitig einzunehmen, da dies zu einer Diclofenac-Überdosierung führen könne. Er beschrieb außerdem mögliche Nebenwirkungen wie Sodbrennen, Magengeschwüre, Blutungen und langfristige Nierenschäden.

Es ist wichtig zu erwähnen, dass das ChatGPT zur Verfügung gestellte Bild nur ein Schmerzmittel zeigte. Das Model empfahl, jeweils nur eines einzunehmen, nicht beide gleichzeitig. Meine Freundin erinnerte sich jedoch daran, dass ihr beide Medikamente zuvor von Ärzten verschrieben worden waren (wenn auch nicht zusammen), nahm sie beide ein, um die Schmerzen schnell zu lindern, und erlebte bald die schwerwiegenden Folgen.

Der Arzt war ebenfalls wütend, und das zu Recht, als meine Freundin ihm erklärte, warum sie zwei Tabletten gleichzeitig eingenommen hatte. Er rügte sie, weil sie keinen Arzt konsultiert hatte. Daraufhin erhielt sie eine Schmerzmittelspritze und ein neues Rezept für Schmerzmittel, die ihren geschwächten Körper nicht belasten würden.

Als Technologiejournalistin, die über die Gefahren von KI-Interaktionen in sensiblen Bereichen, insbesondere Gesundheit und Wohlbefinden, geschrieben hat, fühlte ich mich wie eine Versagerin. Ich hatte das Gefühl, nie mit meiner Freundin über die Risiken von KI-Robotern gesprochen zu haben. Ich hatte sie erst nach dem erschreckenden Vorfall vor diesen Gefahren gewarnt.

Als sie zugab, ChatGPT in der Vergangenheit mehrfach für medizinische Beratung genutzt zu haben, nahm sie ihr Handy und löschte die App. Noch wichtiger war ihr jedoch, dass sie keine anderen KI-gestützten Chatbots – wie Gemini oder Claude – für medizinische Beratung nutzen sollte, ja, überhaupt das Internet meiden sollte. Der einzig richtige Weg sei, mit einem Arzt zu sprechen oder eine Klinik aufzusuchen.

Das Problem der Wahrnehmung

Ich gebe ihr nicht die alleinige Schuld an dem Geschehenen . Angesichts dessen, wie tief ChatGPT als eine Art „allwissender Geist“ in den digitalen Alltag der breiten Masse verankert ist, kann man ihr das kaum verdenken. Die Leute sehen es als bequemere (und ehrlichere) Antwortquelle im Vergleich zur mühsamen Suche nach Antworten bei Google, dem Klicken auf blaue Links und dem Scrollen durch unzählige Webseiten.

Und ehrlich gesagt, haben sie recht. Direkte Antworten von einem KI-Bot wie ChatGPT in natürlicher Sprache und innerhalb von Sekunden zu erhalten, ist deutlich bequemer, als sich durch das Labyrinth der Google-Suchlinks zu kämpfen. Auch Google ist sich des sich wandelnden Nutzerverhaltens bewusst, was den verstärkten Einsatz von dialogorientierter KI in der Suche erklärt. Vielleicht interessiert Sie mein Erfahrungsbericht zum Umstieg von der Google-Suche auf ChatGPT.

Auch heute noch erzielen die Chat-Antworten von Gemini regelmäßig Spitzenplätze in den regulären Suchergebnissen. Das zugrundeliegende Konzept ist einfach: Nutzern werden prägnante Antworten aus den blauen Links der Google-Suche bereitgestellt, bevor sie sich durch die Suche in verschiedenen Tabs tiefer in das Thema einarbeiten. Weitere Informationen finden Sie in unserem ausführlichen Vergleich von ChatGPT und Gemini.

Es spricht für ChatGPT (und die meisten führenden KI-Modelle), dass es bei Anfragen zu Gesundheit und Wohlbefinden äußerst vorsichtig reagiert. In den allermeisten Fällen verweisen die KI-Bots die Nutzer an einen approbierten Arzt oder die entsprechende Hotline. Doch gerade die Art und Weise, wie diese Chatbots als schnelle und vertrauenswürdige Wissensquelle in den öffentlichen Diskurs Einzug gehalten haben, ist es, die sie so beunruhigend macht.

Vor einigen Tagen sah ich eine hitzige Debatte in einem großen Nachrichtensender. Im Verlauf dieses intensiven Wortwechsels forderte ein Teilnehmer seinen Gegner auf, die Fakten mithilfe von ChatGPT zu überprüfen. In diesem Moment wurde ChatGPT als modernes Äquivalent zur Enzyklopädie-Suche diskutiert – auf einer Plattform, die Millionen von Menschen im zweitgrößten Markt für KI-Chatbots weltweit beeinflusst.

Übersetzungsverluste

Die USA sind weltweit führend bei der Einführung von KI, weisen aber auch das höchste Bewusstsein für die Risiken KI-gestützter Chatbots auf. Im Gegensatz dazu ist die digitale Kompetenz (und das KI-Bewusstsein) in Indien deutlich geringer, wodurch das Risikopotenzial wesentlich höher ist. Verschärft wird dieses Risiko dadurch, dass Hunderttausende Menschen ChatGPT und andere KI-Systeme in ihrer Muttersprache Hindi nutzen. Dies ist einer der Hauptgründe für das kürzliche Problem meines Freundes mit ChatGPT.

Eine Anfang des Jahres veröffentlichte Studie des MIT Center for Constructive Communication stellte fest , dass die Genauigkeit der Antworten von KI-gestützten Chatbots geringer ist, wenn Nutzer in einer anderen Sprache als Englisch interagieren. Der im vergangenen Dezember veröffentlichte SAHARA-Benchmark hob ebenfalls eine ähnliche Abweichung im Verhalten von KI-gestützten Chatbots hervor, wenn Nutzer eine andere Sprache als Englisch sprechen. Auch der Economist berichtete über mehrere Forschungsarbeiten, die das Sprachproblem in großen Sprachmodellen (LLMs) aufzeigen.

Die Sprachbarriere erhöht das Risiko.

Doch die Übersetzung ist nicht das einzige Problem. Healthwatch England, eine unabhängige Verbraucher- und Patientenrechtsorganisation innerhalb des britischen Gesundheitssystems, warnt vor den Gefahren KI-gestützter Transkriptionstools, die von Ärzten und medizinischem Fachpersonal eingesetzt werden. Hier ein besorgniserregender Auszug aus ihrem Bericht:

„In einem alarmierenden Fall überprüfte ein KI-Tool die Zusammenfassung einer MRT-Untersuchung und dokumentierte, dass der Patient an Demyelinisierung litt, einer schweren neurologischen Erkrankung, die mit Multipler Sklerose in Verbindung gebracht wird. Die Untersuchung zeigte jedoch tatsächlich keine Demyelinisierung, was bedeutet, dass das Problem nicht vorhanden war.“

Dies ist ein deutlicher Mangel, den gängige Sprachmodelle beheben müssen, doch es gibt hier ein viel größeres Problem. KI-gestützte Chatbots müssen im Umgang mit sensiblen Themen besser agieren. Plattformen wie ChatGPT haben Kindersicherungen implementiert und ermutigen Nutzer häufig, Hilfe zu suchen. Sie bieten außerdem Telefonnummern von Hilfsangeboten und verlässliche Informationsquellen an. Zudem wird ein Warnhinweis angezeigt, dass ChatGPT kein Arzt ist oder Ähnliches.

Diese Warnungen sollten jedoch ganz oben in allen Konversationen erscheinen und nicht unter den ersten Sätzen versteckt sein, wo die meisten Nutzer ihre Antworten finden und nicht weiterlesen. Ein auffälliger Hinweis ganz oben ist deutlich besser, und dieses Protokoll sollte in das Kernverhalten des KI-Modells integriert werden.

Als Nächstes brauchen wir Aufklärung. Und zwar viel. KI-Unternehmen präsentieren eifrig, wie ihre großen Sprachmodelle (LLMs) komplexe mathematische Probleme lösen, Menschen bei den Olympischen Spielen übertreffen und zu medizinischen Durchbrüchen beitragen. Doch all das geschieht unter der Aufsicht von Experten. Für den Durchschnittsnutzer, der ChatGPT als Quelle für schnelle Informationen und Unterhaltungen sieht, sollten Warnhinweise und Haftungsausschlüsse Priorität haben.

OpenAI mag zwar vorsichtig sein, aber die öffentliche Wahrnehmung von ChatGPT entwickelt sich in einem gefährlich schnellen Tempo.

Viele Nutzer betrachten es als eine neue Art Wissensmaschine, die fast wie ein echter Mensch interagiert. Es gibt zahlreiche Beispiele, in denen KI-Roboter gefährliche und potenziell schädliche Gesundheitsratschläge geben, und selbst noch im Jahr 2026 weisen Forschungsergebnisse auf ihr riskantes Verhalten bei sensiblen Themen hin. Ich hoffe nur, dass OpenAI und alle anderen KI-Entwickler dieses Problem ernsthaft in Betracht ziehen und entsprechende Maßnahmen ergreifen.