Character.AI interdit aux moins de 18 ans d'utiliser ses chatbots après le suicide d'un adolescent

Character.AI interdit aux mineurs d’utiliser ses chatbots, sur fond d’inquiétudes croissantes quant aux effets des conversations avec l’intelligence artificielle (IA) sur les enfants.

L’entreprise fait face à plusieurs actions en justice liées à la protection de l’enfance, dont celle d’une mère qui affirme que les chatbots de la société ont poussé son fils adolescent à se suicider.

Character Technologies a indiqué que les utilisateurs de moins de 18 ans ne pourront plus engager de conversations ouvertes avec ses personnages conversationnels, et que le bot instaurera une limite d’utilisation de 2 heures d’ici au 25 novembre.

L’entreprise permet aux utilisateurs de créer ou d’interagir avec des personnages personnalisables qui donnent l’impression d’être vivants et humains, pour diverses activités comme jouer ou s’entraîner à des entretiens d’embauche fictifs.

Character.AI a indiqué qu’elle allait déployer des fonctions de vérification de l’âge pour aider à déterminer quels utilisateurs ont moins de 18 ans. Un nombre croissant de plateformes technologiques recourent à ces contrôles d’âge pour empêcher les enfants d’accéder à des outils qui ne leur sont pas adaptés.

Mais ces méthodes sont imparfaites, et beaucoup d’enfants trouvent des moyens de les contourner. Les scans du visage, par exemple, ne permettent pas toujours de distinguer une personne de 17 ans d’une personne de 18 ans. Et le fait de demander aux gens de téléverser des pièces d’identité officielles soulève des questions de vie privée.

Character.AI a ajouté qu’elle travaillait sur de nouvelles fonctionnalités destinées aux enfants, comme la création de vidéos, d’histoires et de diffusions en direct avec des personnages d’IA, ainsi qu’un laboratoire de sécurité de l’IA. L’entreprise met également en place un laboratoire de sécurité de l’IA

Meetali Jain, directrice exécutive du Tech Justice Law Project, a déclaréque la décision de Character.AI « comporte encore de nombreux points à éclaircir ».

« Ils n’ont pas précisé comment ils mettraient en œuvre la vérification de l’âge, comment ils garantiraient que leurs méthodes préservent la vie privée, ni abordé l’impact psychologique d’une désactivation soudaine de l’accès pour les jeunes, compte tenu des dépendances émotionnelles qui se sont créées », a déclaré Jain.

« De plus, ces changements ne s’attaquent pas aux fonctionnalités de conception sous-jacentes qui favorisent ces dépendances émotionnelles, non seulement chez les enfants, mais aussi chez les personnes de plus de 18 ans. »

Plus de 70 % des adolescents ont déjà utilisé des compagnons d’IA et la moitié les utilisent régulièrement, selon une étude récente de Common Sense Media, un groupe qui étudie et promeut un usage raisonné des écrans et des médias numériques.