Character.AI verbietet Unter-18-Jährigen Interaktion mit Chatbots nach Teenager-Suizid

Character.AI verbietet Minderjährigen die Nutzung seiner Chatbots, aus Sorge über die Auswirkungen von Gesprächen mit künstlicher Intelligenz auf Kinder.

Das Unternehmen sieht sich mehreren Klagen zur Kindersicherheit gegenüber, darunter von einer Mutter, die sagt, die Chatbots hätten ihren jugendlichen Sohn in den Suizid getrieben.

Character Technologies erklärte, Nutzerinnen und Nutzer unter achtzehn könnten keine freien Gespräche mehr mit den Chatbot-Charakteren führen. Bis zum 25. November führt der Dienst zudem eine Nutzungsbegrenzung von zwei Stunden ein.

Auf Character.AI können Menschen anpassbare Figuren erstellen oder mit ihnen interagieren. Die Charaktere sollen sich „lebendig und menschlich“ anfühlen – etwa fürs Spielen oder für simulierte Bewerbungsgespräche.

Character.AI kündigte an, Altersprüfungen einzuführen, um zu erkennen, welche Nutzerinnen und Nutzer unter achtzehn sind. Immer mehr Tech-Plattformen setzen auf solche Kontrollen, um Kindern den Zugang zu Angeboten zu verwehren, die für sie nicht sicher sind.

Diese Verfahren sind jedoch unvollkommen, und viele Kinder finden Wege, sie zu umgehen. Gesichtsscans erkennen etwa nicht immer, ob jemand siebzehn oder achtzehn ist. Zudem gibt es Datenschutzbedenken, wenn Menschen amtliche Ausweise hochladen sollen.

Character.AI ergänzt, es arbeite an neuen Funktionen für Kinder: Videos, Geschichten und Streams mit KI-Charakteren sowie ein KI-Sicherheitslabor. Zudem baut das Unternehmen ein solches Labor auf.

Meetali Jain, geschäftsführende Direktorin des Tech Justice Law Project, sagte, der Schritt von Character.AI „lasse noch viele Details offen“.

„Sie haben nicht erklärt, wie sie die Altersprüfung praktisch umsetzen wollen oder wie sie den Datenschutz gewährleisten. Ebenso fehlt eine Antwort auf die möglichen psychologischen Folgen, wenn jungen Nutzerinnen und Nutzern der Zugang plötzlich entzogen wird, angesichts der bereits entstandenen emotionalen Abhängigkeiten“, so Jain.

„Zudem ändern diese Maßnahmen nichts an den grundlegenden Designmerkmalen, die solche emotionalen Abhängigkeiten begünstigen, nicht nur bei Kindern, sondern auch bei Menschen über achtzehn“, fügte sie hinzu.

Mehr als 70 Prozent der Jugendlichen haben bereits KI-Begleiter genutzt, die Hälfte verwendet sie regelmäßig. Das zeigt eine aktuelle Studievon Common Sense Media, einer Organisation, die einen sinnvollen Umgang mit Bildschirmen und digitalen Medien erforscht und dafür wirbt.