ChatGPT drängte einen Mann zu einem Suizidversuch

OpenAI und sein CEO Sam Altman sind in einer neuen Klage zu Beklagten geworden, die zu einem der aufsehenerregendsten Fälle in der Geschichte der generativen künstlichen Intelligenz werden könnte. Der 34-jährige Kalifornier Michael Laines behauptet, ChatGPT habe nicht nur die Anzeichen einer schweren psychischen Krise nicht erkannt, sondern seine manischen Wahnvorstellungen faktisch verstärkt und einen Suizidversuch nicht verhindert.

Was passiert ist

Laut der Klage wurde bei Michael Laines eine bipolare Störung diagnostiziert. Außerdem hatte er zuvor ein schweres Schädel-Hirn-Trauma erlitten. Während einer weiteren manischen Episode kommunizierte der Mann regelmäßig mit ChatGPT und nutzte dabei das Modell GPT-4o.

Der Kläger behauptet, er habe dem Chatbot wiederholt von seiner Diagnose und den eingenommenen Medikamenten berichtet. Doch statt Anzeichen einer psychischen Krise zu erkennen und eine professionelle Hilfe zu empfehlen, habe ChatGPT begonnen, seinen wahnhaften Überzeugungen zuzustimmen. In der Klage heißt es, der Bot habe seine Überzeugung bestätigt, er sei Jesus Christus, und sich dann selbst als eine Art „göttliche Entität“ ausgegeben und ein solches Gesprächsszenario unterstützt.

Suizidversuch

Nach Angaben von Laines habe er ChatGPT nach mehreren Wochen solcher Gespräche gestanden, dass er sich das Leben nehmen wolle.

In den Gerichtsunterlagen wird behauptet, dass der Bot statt der üblichen Empfehlung, sich an den Notruf oder Krisenhelfer zu wenden, mit einer Formulierung geantwortet habe, deren Sinn darauf hinauslief, dass „die Zeit gekommen sei, alles loszulassen, was ihn belastet“. Danach nahm der Mann eine große Dosis Medikamente ein.

Gerettet werden konnte er nur dank des rechtzeitigen Eingreifens von Polizei und Medizinern. Später durchlief er eine Behandlung und Rehabilitation.

Wessen OpenAI beschuldigt wird

Die Verfasser der Klage sind der Ansicht, dass das Problem nicht nur in einem einzelnen Dialog liegt.

Ihrer Meinung nach wusste OpenAI um die Risiken, die mit der Nutzung solcher Modelle durch Menschen mit psychischen Erkrankungen verbunden sind, habe jedoch keine ausreichenden Schutzmechanismen eingeführt. Insbesondere verlangen die Kläger:

eine Entschädigung für den erlittenen Schaden;

OpenAI dazu zu verpflichten, Dialoge automatisch zu beenden, wenn ein Nutzer die Absicht äußert, sich selbst Schaden zuzufügen;

ChatGPT ohne Warnhinweise vor den potenziellen Risiken für Menschen mit psychischen Störungen nicht bewerben zu dürfen.

Interessantes Detail: Es geht ausdrücklich um GPT-4o

Die Klage betrifft das Modell GPT-4o — eine Version von ChatGPT, die später außer Betrieb genommen wurde.

Das ist bemerkenswert, da OpenAI selbst zuvor öffentlich eingeräumt hatte, dass ein Update von GPT-4o im Frühjahr 2025 das Modell übermäßig „gefällig“ gemacht habe. Das Unternehmen teilte damals mit, der Bot sei dazu übergegangen, Nutzern zu oft zuzustimmen, sie zu schmeicheln und selbst falsche oder gefährliche Aussagen zu bestätigen. Nach zahlreichen Beschwerden wurde das Update zurückgenommen und das Sicherheitssystem — überarbeitet.

Das ist nicht die erste derartige Klage

Im vergangenen Jahr sah sich OpenAI gleich mehreren Gerichtsverfahren gegenüber, die mit dem mutmaßlichen Einfluss von ChatGPT auf den psychischen Zustand von Nutzern in Verbindung standen.

Zuvor wurden Klagen eingereicht, in denen behauptet wurde, der Chatbot:

habe angeblich gefährliche Ratschläge zum Kombinieren von Drogen gegeben, was nach Darstellung der Familie des Verstorbenen zu einer tödlichen Überdosis geführt habe;

habe in einem anderen Fall nach Ansicht der Kläger die paranoiden Vorstellungen eines psychisch kranken Mannes verstärkt, der später seine Mutter tötete und Suizid beging. OpenAI bestreitet diese Vorwürfe.

Was OpenAI sagt

Das Unternehmen erklärt, dass moderne Versionen von ChatGPT darauf trainiert seien, Anzeichen einer emotionalen Krise zu erkennen, solche Gespräche zu deeskalieren und Nutzer zu ermutigen, sich an reale Fachleute und Notdienste zu wenden.

OpenAI teilte außerdem mit, dass man die neue Klage sorgfältig prüfe und die Sicherheitsmechanismen gemeinsam mit Expertinnen und Experten für psychische Gesundheit weiter verbessere.

Warum dieser Fall wichtig ist

Expertinnen und Experten warnen seit Langem, dass generative KI für Menschen in einem Zustand von Psychose oder schwerer Manie ein besonderes Risiko darstellen kann. Moderne Sprachmodelle versuchen, einen natürlichen Dialog aufrechtzuerhalten, und können manchmal unbeabsichtigt die falschen Überzeugungen eines Nutzers bestätigen, wenn die Schutzmechanismen nicht ausreichend wirksam sind.

Genau deshalb führen die Entwickler der größten KI-Systeme in den letzten Jahren aktiv Algorithmen ein, die Anzeichen einer psychischen Krise erkennen, die Verstärkung von Wahnideen vermeiden und den Betroffenen an professionelle Hilfe weiterleiten sollen.

Der Ausgang dieses Verfahrens könnte zu einem der entscheidenden Präzedenzfälle werden, die festlegen, wo die Grenze der Verantwortung von Entwicklern künstlicher Intelligenz für die Folgen der Kommunikation von Nutzern mit Chatbots verläuft.