ChatGPT Health ist jetzt für alle verfügbar: Warum vertraue ich dem Dienst nicht?

OpenAI gab heute bekannt, dass ChatGPT Health ab sofort für alle Nutzer über 18 Jahren und in allen Tarifen, einschließlich der kostenlosen Version, verfügbar ist. Abgesehen von meiner generellen Skepsis gegenüber KI-gestützten Gesundheitstipps sehe ich überzeugende Gründe, diese Version von ChatGPT Health komplett zu meiden, darunter ein deutlicher Rückgang des Datenschutzes im Vergleich zu den ursprünglichen Einstellungen des Dienstes.

ChatGPT Health ermöglicht es Ihnen, Ihre Krankenakten oder Apple-Health-Daten mit dem Bot zu verknüpfen. OpenAI versichert Ihnen, dass der Bot während der Konversation um Erlaubnis zum Zugriff auf Ihre Gesundheitsdaten bittet und keinen Arzt ersetzt, sondern lediglich Ratschläge geben oder bei der Interpretation Ihrer medizinischen Daten helfen soll. Trotz dieser Warnungen (und der Grafik in der Werbung, die ChatGPT Health mit besseren Ergebnissen als echte Ärzte suggeriert) sehe ich persönlich einige Warnsignale.

Der Datenschutz nimmt ab.

Als OpenAI sein „personalisiertes Gesundheitserlebnis“ erstmals ankündigte , war eines der wichtigsten Verkaufsargumente, dass Gespräche im Gesundheitsbereich nicht zum Trainieren von KI in der Zukunft verwendet würden und dass Ihre Gesundheitsgespräche von allen anderen Gesprächen getrennt gehalten würden.

Die Regeln haben sich jedoch geändert. OpenAI gibt nun an, dass Ihre verknüpften Gesundheitsdaten nicht zum Trainieren der KI verwendet werden und nur Gespräche, die diese verknüpften Informationen nutzen , als Gesundheitsgespräche eingestuft werden. Das bedeutet: Wenn ChatGPT eine Diagnose aus Ihren Krankenakten liest, ist Ihr Gespräch geschützt. Wenn Sie Ihre Krankenakten jedoch nicht verknüpfen und ChatGPT Ihre Diagnose einfach in Ihren eigenen Worten mitteilen möchten, wird dies nicht als Gesundheitsgespräch betrachtet.

Dies bedeutet auch, dass der Zugriff auf die Datenschutzfunktionen von ChatGPT Health nur durch die Weitergabe Ihrer Gesundheitsdaten an OpenAI möglich ist. Wie das Unternehmen in seiner Ankündigung erklärte: „Sie können in ChatGPT Gesundheitsfragen stellen, ohne Daten zu verknüpfen. Um die Gesundheitsfunktionen zu nutzen und Antworten basierend auf Ihren eigenen Informationen zu erhalten, können Sie Apple Health, medizinische Daten von US-amerikanischen Krankenhaussystemen, One Medical oder Function Health verknüpfen.“ Gespräche, die die Verknüpfung von Daten beinhalten, sind datenschutzkonform, andere nicht. Diese Vorgehensweise gibt Anlass zu ernsthaften Bedenken hinsichtlich des Datenschutzes im Gesundheitswesen – ein Thema, das wir bereits im Zusammenhang mit Zyklus-Apps diskutiert haben.

OpenAI behauptet, ChatGPT sei Ärzten überlegen, aber ich bin nicht überzeugt.

OpenAI wirbt mit seinen HealthBench-Ergebnissen, um zu suggerieren, dass ChatGPT medizinische Ratschläge kompetent erteilen kann. Wie ich jedoch bereits in früheren Artikeln erwähnt habe, liefern große Sprachmodelle (LLMs) wie ChatGPT keine verlässlichen medizinischen Ratschläge und sollten nicht als Grundlage für Entscheidungen dienen. Frühere Studien haben gezeigt, dass selbst wenn diese Modelle auf sorgfältig formulierte Gesundheitsfragen „korrekte“ Antworten geben, Gespräche im realen Kontext oft vom Thema abweichen.

HealthBench scheint dieselben Einschränkungen aufzuweisen. OpenAI merkt an, dass echte Ärzte Kriterien zur Bewertung von Antworten festgelegt und diese Kriterien genutzt haben, um die Antworten verschiedener ChatGPT-Modelle sowie die ihrer Kollegen zu beurteilen. Interessanterweise zeigten die Ergebnisse, dass kostenpflichtige ChatGPT-Modelle besser abschnitten als kostenlose Modelle, welche wiederum die echten Ärzte übertrafen.

Das bedeutet aber nicht, dass der Chatbot tatsächlich vertrauenswürdig ist. Eine Überprüfung des HealthBench-Frameworks weist darauf hin, dass die Tests keine realen Gespräche abbilden und möglicherweise „idiomatische Ausdrücke, Themenwechsel und unerwartete Anliegen von Patienten übersehen“. Eine weitere wesentliche Einschränkung besteht darin, dass HealthBench nur kurze Gespräche testet. Dieser Ansatz verhindert die Bewertung langfristiger Arbeitsabläufe und multidisziplinärer Ergebnisse, wie beispielsweise längerer oder themenübergreifender Gespräche im realen Leben.

Die Nutzer von ChatGPT, die dort Gesundheitstipps suchen, führen keine spezifischen Tests mit den angebotenen Gesundheitstipps durch. Daher ähneln die Antworten des Large Language Model (LLM) nicht unbedingt denen, die in HealthBench ausgewertet werden. OpenAI ist sich dessen bewusst und hebt in seinen Werbeanzeigen hervor, wie häufig Menschen im Alltag Gesundheitsfragen stellen.

Dies sind nur die Grenzen des HealthBench-Frameworks, noch bevor man sich mit den Details befasst. Die Autoren der oben zitierten Studie weisen darauf hin, dass das Testmaterial nicht genügend seltene Krankheiten umfasste, um die Leistungsfähigkeit des Modells in Bezug auf diese Krankheiten zu beurteilen. Auch die Bewertungskriterien wirken mangelhaft: OpenAI vergibt in seinem eigenen Beispiel aus der HealthBench-Ankündigung 9 Punkte für eine bestimmte Antwort, weil sie „zu Beginn der Reaktion einen klaren und prägnanten Hinweis zur Inanspruchnahme notärztlicher Hilfe enthält“, und später, im selben Kriterium, weitere 10 Punkte für das „Denken daran, zu Beginn der Reaktion den Notruf zu wählen“. Es sieht so aus, als würde OpenAI entweder Punkte doppelt vergeben, um die Ergebnisse künstlich aufzublähen, oder die Bewertungskriterien werden schlichtweg nicht überprüft. So oder so, ich kann den Ergebnissen nicht trauen.

Schlechte medizinische Ratschläge von Chatbots verursachen echten Schaden.

Noch wichtiger ist jedoch, dass Menschen ChatGPT bereits für medizinische Beratung nutzen und danach gesundheitliche Probleme und sogar Todesfälle erlitten haben – ein Umstand, der dem Unternehmen bekannt ist. Diese Woche reichte ein Pastor Klage gegen das Unternehmen ein , der angibt, beinahe gestorben zu sein, nachdem er ChatGPT-4o (ein inzwischen nicht mehr erhältliches Modell) konsultiert hatte, um sich zu einer Lungenembolie beraten zu lassen. Die Klage zielt auf eine einstweilige Verfügung ab, die dem Unternehmen den Vertrieb von Gesundheitsprodukten wie ChatGPT Health untersagt.

Weitere Klagen gegen OpenAI werfen dem Unternehmen vor , mit seinen Produkten zu Selbstmorden und Psychosen unter den Nutzern beigetragen zu haben. ECRI, eine gemeinnützige Organisation für die Sicherheit von Medizinprodukten, stuft den Missbrauch KI-gestützter Chatbots als das größte Risiko im Bereich Gesundheitstechnologien für das Jahr 2026 ein.

Was Sie wissen müssen, wenn Sie ChatGPT Health trotzdem nutzen möchten.

Falls Sie ChatGPT Health dennoch ausprobieren möchten, ist es hilfreich zu wissen, wie Sie die bereitgestellten Tools nutzen können, um Ihre Privatsphäre (bis zu einem gewissen Grad) zu schützen:

• Sie können temporäre Konversationen verwenden , um eine Konversation zu starten, die keine Speicher- oder Personalisierungsfunktionen nutzt.

• Nach dem Import Ihrer Gesundheitsdaten können Sie die Informationen überprüfen und bearbeiten – beispielsweise Fehler korrigieren oder alles entfernen, was Sie nicht behalten möchten.

• Sie können die Speicherung Ihrer Gesundheitsdaten jederzeit in Ihren Einstellungen unter „Gesundheit“ > „Konten “ deaktivieren . Das Unternehmen gibt an, dass die Daten „innerhalb von 30 Tagen“ gelöscht werden.

• Sie können ChatGPT so konfigurieren, dass es jedes Mal um Erlaubnis zum Zugriff auf Ihre Gesundheitsdaten bittet, anstatt Ihnen einen universellen Zugriff zu gewähren. Diese Einstellung kann unter Einstellungen > Plugins > Gesundheit geändert werden.

• Seien Sie vorsichtig bei der Verwendung von Plugins, die Ihre Gesundheitsdaten weitergeben könnten. OpenAI gibt an, über „zusätzliche Sicherheitsvorkehrungen“ zu verfügen, die unter Umständen Ihre Zustimmung zur Datenweitergabe erfordern, merkt aber auch an, dass diese Maßnahmen „weiterhin getestet werden…“, was darauf hindeutet, dass das Unternehmen noch nicht alle relevanten Aspekte abgedeckt hat.