Immer mehr Menschen nutzen KI-Chatbots wie ChatGPT für gesundheitliche Fragen. Doch eine aktuelle Untersuchung zeichnet ein bedenkliches Bild: Besonders wenn es wirklich ernst wird, lässt die künstliche Intelligenz die Nutzer im Stich.
Für die Studie entwarfen Mediziner 60 klinische Fallbeispiele aus 21 Fachbereichen. Insgesamt wurden 960 Anfragen an ChatGPT Health gestellt und die Empfehlungen der KI mit der Einschätzung eines ärztlichen Expertenteams verglichen.
Das Ergebnis ist alarmierend, wie heise.de berichtet: In 51,6 Prozent der echten medizinischen Notfälle stufte die KI die Lage als zu harmlos ein. Bei Patienten mit schwerer diabetischer Entgleisung oder akutem Asthma-Anfall riet das System etwa, innerhalb von 24 bis 48 Stunden einen Arzt aufzusuchen - statt sofort in die Notaufnahme zu fahren.
Umgekehrt zeigte sich ChatGPT Health bei harmlosen Beschwerden übervorsichtig: Fast 65 Prozent der Fälle, die laut Leitlinien problemlos daheim beobachtet werden könnten, stufte das System als behandlungsbedürftig ein. Das könnte das Gesundheitssystem unnötig belasten.
Bei Routinefällen mittlerer Dringlichkeit schnitt die KI hingegen gut ab und stimmte in 93 Prozent der Fälle mit der ärztlichen Empfehlung überein. Die Probleme liegen also an den Extremen - genau dort, wo korrekte Einschätzungen am wichtigsten wären.
Besonders bedenklich: ChatGPT Health ist anfällig für den sogenannten Ankereffekt. Wurde in einem Fallbeispiel erwähnt, dass Freunde die Symptome als harmlos einstuften, ließ sich die KI davon stark beeinflussen - die Wahrscheinlichkeit einer verharmlosenden Einschätzung stieg um das Elffache.
Keinen Einfluss auf die Triage-Empfehlungen hatten hingegen demografische Faktoren wie Hautfarbe oder Geschlecht der fiktiven Patienten.
Auch beim Thema Suizidprävention zeigte die Studie Schwächen. Zwar blendet ChatGPT Health bei Suizidgedanken ein Warnbanner mit Verweis auf Krisenhotlines ein, doch der Mechanismus funktioniert nicht immer zuverlässig.
Die Wissenschaftler fordern, dass KI-Tools im Gesundheitsbereich vor einer breiten Veröffentlichung ähnliche Sicherheits- und Zulassungsprüfungen durchlaufen sollten wie klassische Medizinprodukte. Denn auch wenn OpenAI darauf hinweist, dass ChatGPT keine ärztliche Diagnose ersetze, könnten viele Menschen einen Arztbesuch verschieben, wenn ihnen die KI Entwarnung gibt.
