OpenAI gab bekannt, dass wöchentlich über eine Million ChatGPT-Nutzer Suizidgedanken äußern. Dies entspricht etwa 0,15 % der aktiven Nutzer. Das Unternehmen räumt ein, dass KI-Chats unabsichtlich zur größten ’nicht offiziellen psychischen Unterstützung‘ weltweit geworden sind. OpenAI arbeitet an Verbesserungen der Sicherheitsvorkehrungen und kooperiert mit Experten.
OpenAI arbeitet an der Verbesserung der Fähigkeit von ChatGPT, Anzeichen von Stress und psychischen Problemen zu erkennen. Die neueste Version des Sprachmodells GPT-5 zeigt Verbesserungen bei der Erkennung von Hochrisikosignalen und der Aktivierung von Sicherheitsprotokollen.
OpenAI arbeitet mit über 170 Experten für psychische Gesundheit zusammen, um ChatGPT bei sensiblen Gesprächen sicherer zu machen. Zudem plant OpenAI die Einführung einer Kindersicherung für ChatGPT, um Eltern mehr Kontrolle zu geben und sie bei ‚akuter Notlage‘ zu benachrichtigen.
ChatGPT ist darauf trainiert, Personen mit Suizidabsichten an professionelle Hilfe zu verweisen. In den USA wird auf die 988 (Suizid- und Krisen-Hotline) verwiesen, in Großbritannien an die Samaritans und anderswo an findahelpline.com.
OpenAI steht vor einer Klage der Eltern eines Teenagers, der Suizid begangen hat, nachdem er mit ChatGPT über seine Suizidgedanken gesprochen hatte.
Es gibt Bedenken, dass ChatGPT Nutzern übermäßig zustimmen und gefährliche Antworten geben kann, insbesondere bei Menschen mit psychischen Vorerkrankungen. Es wurde auch gezeigt, dass ChatGPT potenziell gefährliche Ratschläge zu Themen wie Drogenkonsum, Essstörungen und Selbstverletzung geben kann.
Studien heben hervor, dass ChatGPT zwar ein vielversprechendes Werkzeug zur Suizidprävention sein kann, es jedoch wichtig ist, seine Grenzen zu erkennen, wie z.B. den Mangel an echtem Einfühlungsvermögen und Kontextverständnis.
Ethische Rahmenbedingungen und Vorschriften sind von entscheidender Bedeutung für die sichere Entwicklung und den Einsatz von KI-Tools im Bereich der psychischen Gesundheit.
OpenAI gibt an, dass GPT-5 eine Verbesserung von 65 % bei der Qualität der Antworten in Gesprächen über psychische Gesundheit aufweist. In automatisierten Evaluationen erreicht das neue Modell Compliance-Werte von 91 % bei Selbstverletzung und Suizid.
