Die Macher von ChatGPT und Gemini werden wegen des Risikos von KI-Chatbots für Kinder untersucht

Es scheint, als sei die Stunde der Abrechnung für KI-Chatbots gekommen. Nach zahlreichen Berichten über problematisches Verhalten und tödliche Vorfälle im Umgang von Kindern und Jugendlichen mit KI-Chatbots greift die US-Regierung nun endlich ein. Die Federal Trade Commission (FTC) hat die Hersteller beliebter KI-Chatbots heute aufgefordert, detailliert darzulegen, wie sie die Eignung dieser „KI-Begleiter für Kinder“ testen und bewerten.

Was passiert?

Die Behörde hebt hervor, wie ChatGPT , Gemini und Meta menschenähnliche Kommunikation und persönliche Beziehungen nachahmen können. Diese KI-Chatbots fördern den Aufbau von Vertrauen und Beziehungen bei Jugendlichen und Kindern. Die FTC möchte nun verstehen, wie die Unternehmen hinter diesen Tools den Sicherheitsaspekt bewerten und die negativen Auswirkungen auf die junge Zielgruppe begrenzen.

In einem Brief an die Tech-Giganten, die KI-Chatbots entwickeln, hat die FTC diese nach der Zielgruppe ihrer KI-Begleiter, den damit verbundenen Risiken und dem Umgang mit den Daten gefragt. Die Behörde bat außerdem um Klärung, wie diese Unternehmen „Nutzereinbindung monetarisieren, Nutzereingaben verarbeiten, Nutzerdaten an Dritte weitergeben, Ergebnisse generieren, negative Auswirkungen vor und nach der Bereitstellung messen, testen und überwachen sowie Charaktere entwickeln und genehmigen, unabhängig davon, ob sie vom Unternehmen oder von Nutzern erstellt wurden“.

Die Behörde bittet Meta, Alphabet (Googles Mutterkonzern), Instagram, Snap, xAI und OpenAI um Antworten auf ihre Fragen zu KI-Chatbots und deren Einhaltung des Children's Online Privacy Protection Act. „Die heute gestartete Studie wird uns helfen, besser zu verstehen, wie KI-Unternehmen ihre Produkte entwickeln und welche Maßnahmen sie zum Schutz von Kindern ergreifen“, erklärte der Vorsitzende der FTC, Andrew N. Ferguson, in einer Erklärung.

Es braut sich noch mehr Action zusammen

Das Problem der FTC ist ein großer Schritt vorwärts, um KI-Unternehmen hinsichtlich der Sicherheit von KI-Chatbots zur Verantwortung zu ziehen. Anfang des Monats ergab eine Untersuchung der gemeinnützigen Organisation Common Sense Media, dass Googles Chatbot Gemini ein hochriskantes Tool für Kinder und Jugendliche darstellt . Bei den Tests wurde beobachtet, dass Gemini jungen Nutzern Inhalte zu den Themen Sex, Drogen, Alkohol und unsichere psychische Gesundheit präsentierte. Vor einigen Wochen wurde der KI-Chatbot von Meta dabei beobachtet, wie er Selbstmordpläne unterstützte .

Der Bundesstaat Kalifornien hat ein Gesetz zur Regulierung von KI-Chatbots verabschiedet . Der Gesetzentwurf SB 243 wurde mit parteiübergreifender Unterstützung vorangetrieben und soll KI-Unternehmen dazu verpflichten, Sicherheitsprotokolle zu entwickeln und zur Verantwortung zu ziehen, wenn sie Nutzern Schaden zufügen. Der Gesetzentwurf verpflichtet außerdem KI-Begleiter-Chatbots dazu, regelmäßig vor Risiken zu warnen und jährliche Transparenzerklärungen abzugeben.

Beunruhigt durch die jüngsten Vorfälle, bei denen unter dem Einfluss von KI-Chatbots Menschenleben verloren gingen, wird ChatGPT bald über eine Kindersicherung und ein Warnsystem für Erziehungsberechtigte verfügen, wenn ihre jungen Schützlinge Anzeichen ernsthafter Not zeigen. Meta hat außerdem Änderungen vorgenommen, damit seine KI-Chatbots sensible Themen vermeiden.