Medizinische Fachzeitschrift behauptet, ChatGPT-Rat habe bei Mann eine Psychose ausgelöst

Anfang des Jahres berichtete eine ermutigende Geschichte, wie eine Mutter ChatGPT kontaktierte und erfuhr, dass ihr Sohn an einer seltenen neurologischen Erkrankung litt, nachdem mehr als ein Dutzend Ärzte die Ursache nicht identifizieren konnten. Dank des KI-Chatbots konnte die Familie die erforderliche Behandlung erhalten und ein Leben retten.

Nicht jeder Fall einer medizinischen Untersuchung mit ChatGPT führt zu einem wundersamen Ergebnis. Ein Bericht behauptet nun, dass ChatGPT irreführende medizinische Ratschläge erteilt habe und bei einer Person eine seltene Erkrankung namens Bromidvergiftung (Bromismus) aufgetreten sei, die zu verschiedenen neuropsychiatrischen Problemen wie Psychosen und Halluzinationen führt.

Vertrauen Sie darauf, dass ChatGPT Ihnen eine Krankheit von vor einem Jahrhundert überträgt.

Ein in den Annals of Internal Medicine veröffentlichter Bericht beschreibt den Fall einer Person, die aufgrund von Bromismus im Krankenhaus landete, nachdem sie bei ChatGPT medizinischen Rat zu ihrem Gesundheitszustand eingeholt hatte. Der Fall ist ziemlich interessant, da der 60-Jährige Zweifel äußerte, ob sein Nachbar ihn heimlich vergiftet hatte.

Die ganze Episode begann, als die Person auf Berichte stieß, in denen die negativen Auswirkungen von Natriumchlorid (auch bekannt als Kochsalz) beschrieben wurden. Nach Rücksprache mit ChatGPT ersetzte die Person das Salz durch Natriumbromid, was schließlich zu einer Bromidvergiftung führte.

„Er war sehr durstig, aber auch paranoid gegenüber dem Wasser, das ihm angeboten wurde“, heißt es im Forschungsbericht. Weiter heißt es, der Patient habe sein Wasser selbst destilliert und sich bei der Wasseraufnahme stark eingeschränkt. Nach der Einlieferung ins Krankenhaus verschlechterte sich seine Situation jedoch bald, und es wurden Untersuchungen durchgeführt.

„In den ersten 24 Stunden nach seiner Aufnahme zeigte er zunehmende Paranoia sowie akustische und visuelle Halluzinationen, was nach einem Fluchtversuch zu einer unfreiwilligen psychiatrischen Einweisung wegen schwerer Behinderung führte“, heißt es in dem Bericht weiter.

Vergessen Sie nicht den freundlichen menschlichen Arzt

Der jüngste Fall, bei dem ChatGPT eine Person in eine schwierige Lage brachte, ist ziemlich erstaunlich, insbesondere aufgrund der Seltenheit der Situation. „Bromismus, die chronische Vergiftung mit Bromid, ist selten und fast in Vergessenheit geraten“, heißt es in einer Forschungsarbeit .

Die Verwendung von Bromsalzen geht auf das 19. Jahrhundert zurück, als sie zur Behandlung psychischer und neurologischer Erkrankungen, insbesondere bei Epilepsie, empfohlen wurden. Im 20. Jahrhundert war Bromismus (oder Bromidvergiftung) ein weit verbreitetes Problem. Die Einnahme von Bromsalzen wurde auch als Schlafmittel dokumentiert.

Im Laufe der Zeit stellte sich heraus, dass der Konsum von Bromsalzen zu Problemen des Nervensystems wie Wahnvorstellungen, mangelnder Muskelkoordination und Müdigkeit führt. Schwere Fälle sind jedoch durch Psychosen, Zittern oder sogar Koma gekennzeichnet. 1975 schränkte die US-Regierung die Verwendung von Bromiden in rezeptfreien Medikamenten ein.

Das medizinische Team, das den Fall bearbeitete, konnte zwar nicht auf die ChatGPT-Gespräche der Person zugreifen, konnte bei seinem Test jedoch ähnliche beunruhigend irreführende Antworten erhalten. OpenAI hingegen ist der Ansicht, dassKI-Bots die Zukunft des Gesundheitswesens sind .

„Als wir ChatGPT 3.5 fragten, wodurch Chlorid ersetzt werden kann, erhielten wir auch eine Antwort, die Bromid enthielt. Obwohl in der Antwort darauf hingewiesen wurde, dass der Kontext wichtig ist, enthielt sie weder einen spezifischen Gesundheitshinweis noch die Frage, warum wir das wissen wollten, wie es vermutlich ein Mediziner tun würde“, berichtete das Team.

Ja, es gibt definitiv Fälle, in denen ChatGPT einer Person mit gesundheitlichen Problemen geholfen hat. Positive Ergebnisse sind jedoch nur zu erwarten, wenn der KI detaillierte Kontextinformationen und umfassende Informationen zur Verfügung gestellt werden. Experten raten jedoch dennoch zu äußerster Vorsicht.

„Die Fähigkeit von ChatGPT (GPT-4.5 und GPT-4), die richtige Diagnose zu stellen, war bei seltenen Erkrankungen sehr schwach“, heißt es in einem im Fachjournal „Genes“ veröffentlichten Forschungsbericht. Außerdem wird hinzugefügt, dass eine ChatGPT-Beratung keine ordnungsgemäße Untersuchung durch einen Arzt ersetzen kann.

LiveScience kontaktierte OpenAI zu diesem Thema und erhielt folgende Antwort: „Sie sollten sich nicht auf die Ergebnisse unserer Dienste als einzige Quelle der Wahrheit oder sachlicher Informationen oder als Ersatz für professionellen Rat verlassen“, und betonte außerdem, dass „die Sicherheitsteams von OpenAI darauf abzielen, das Risiko der Nutzung der Dienste des Unternehmens zu verringern und die Produkte so zu schulen, dass die Benutzer aufgefordert werden, professionellen Rat einzuholen.“

Eines der großen Versprechen mit der Einführung von GPT-5, dem neuesten ChatGPT-Modell des Unternehmens, war, weniger Ungenauigkeiten oder Halluzinationen zu verursachen und sich stärker auf „sichere Vervollständigungen“ zu konzentrieren, bei denen Benutzer von potenziell schädlichen Antworten ferngehalten werden. OpenAI drückt es so aus : „[Dies] lehrt das Modell, nach Möglichkeit die hilfreichste Antwort zu geben und gleichzeitig die Sicherheitsgrenzen einzuhalten.“

Die größte Hürde besteht offensichtlich darin, dass der KI-Assistent die klinischen Merkmale eines Patienten nicht zuverlässig untersuchen kann. Nur wenn KI in einem medizinischen Umfeld von zertifiziertem Gesundheitspersonal eingesetzt wird, kann sie zuverlässige Ergebnisse liefern.