ONG Public Citizen exhorte OpenAI à retirer l’appli vidéo d’IA Sora, pour risques de deepfakes

Le secteur technologique avance à toute allure et se remet à tout bousculer. Cette fois, c’est la réalité commune de l’humanité et le contrôle de notre image, de notre vivant comme après notre mort, qui sont en jeu, avec des plateformes de génération d’images par intelligence artificielle (IA) comme Sora 2 d’OpenAI.

La vidéo Sora typique, créée sur l’application d’OpenAI puis diffusée sur TikTok, Instagram, X et Facebook, est conçue pour être suffisamment amusante pour vous inciter à cliquer et à partager. Cela peut être la reine Elizabeth II qui rappe, ou quelque chose de plus banal et vraisemblable.

Un genre populaire de Sora consiste en de fausses images de caméras de sonnette capturant quelque chose d’un peu étrange, par exemple un boa constricteur sur le perron ou un alligator s’approchant d’un enfant imperturbable, et se termine par un léger choc, comme une grand-mère criant en frappant l’animal avec un balai.

Mais un nombre croissant d’associations, d’universitaires et d’experts tirent la sonnette d’alarme sur les dangers de laisser quiconque créer des vidéos d’IA sur à peu près tout ce qu’il peut taper dans une requête, ce qui conduit à la prolifération d’images non consenties et de deepfakes réalistes au milieu d’une mer de « bouillie d’IA » moins nocive.

OpenAI a sévi contre les créations d’IA mettant en scène des personnalités publiques, parmi lesquelles Michael Jackson, Martin Luther King Jr et Mister Rogers, dans des situations extravagantes, mais seulement après la levée de boucliers des ayants droit et d’un syndicat d’acteurs.

L’organisation à but non lucratif Public Citizen demande désormais à OpenAI de retirer Sora 2 du public, écrivant dans une lettre envoyée mardi à l’entreprise et à son PDG, Sam Altman, que la sortie précipitée de l’application pour devancer la concurrence révèle « un schéma constant et dangereux d’OpenAI qui se précipite sur le marché avec un produit soit intrinsèquement dangereux, soit dépourvu des garde-fous nécessaires ».

Sora 2, poursuit la lettre, témoigne d’un « mépris téméraire » pour la sécurité du produit, ainsi que pour le droit des personnes à leur propre image et pour la stabilité de la démocratie. Le groupe a également adressé la lettre au Congrès américain.

OpenAI n’a pas répondu aux demandes de commentaire mardi.

Le groupe exprime des inquiétudes sur la sécurité

« Notre principale inquiétude, c’est la menace potentielle pour la démocratie », a déclaré JB Branch, spécialiste des politiques technologiques chez Public Citizen, lors d’un entretien.

« Je pense que nous entrons dans un monde où les gens ne peuvent plus vraiment faire confiance à ce qu’ils voient. Et nous commençons à voir des stratégies en politique où la première image, la première vidéo publiée, est celle dont les gens se souviennent. »

Branch, auteur de la lettre de mardi, voit aussi des atteintes plus larges à la vie privée qui touchent de manière disproportionnée les populations vulnérables en ligne.

OpenAI bloque la nudité, mais Branch affirme que « les femmes constatent qu’elles sont harcelées en ligne » d’autres façons, notamment via des contenus de niche fétichisés qui franchissent les restrictions des applications.

Le média 404 Media a récemment fait état d’un déferlement de vidéos réalisées avec Sora où des femmes sont étranglées.

OpenAI a lancé sa nouvelle application Sora sur iPhone il y a plus d’un mois. Elle est arrivée la semaine dernière sur les téléphones Android aux États-Unis, au Canada et dans plusieurs pays d’Asie, dont le Japon et la Corée du Sud.

L’essentiel des résistances les plus fortes est venu d’Hollywood et d’autres acteurs du divertissement, y compris l’industrie japonaise du manga.

OpenAI a annoncé ses premiers grands changements quelques jours seulement après la sortie, en expliquant que « la surmodération est très frustrante » pour les utilisateurs mais qu’il est important de rester prudent « tant que le monde s’adapte encore à cette nouvelle technologie ».

S’en sont suivis des accords annoncés publiquement avec la famille de Martin Luther King Jr le 16 octobre, empêchant des « représentations irrespectueuses » du leader des droits civiques pendant que l’entreprise travaillait à de meilleures protections, et un autre le 20 octobre avec l’acteur de « Breaking Bad » Bryan Cranston, le syndicat SAG-AFTRA et des agences de talents.

« Tout cela est très bien quand on est célèbre », a commenté Branch. « C’est en quelque sorte un schéma propre à OpenAI, qui accepte de répondre à l’indignation d’une très petite partie de la population ».

« Ils sont prêts à sortir quelque chose et à s’excuser après coup », a ajouté Branch. « Mais beaucoup de ces problèmes relèvent de choix de conception qu’ils peuvent faire avant la sortie ».

OpenAI a fait face à des plaintes similaires au sujet de son produit phare, ChatGPT. Sept nouvelles actions en justice déposées la semaine dernière aux États-Unis affirment que le chatbot a poussé des personnes au suicide et à des délires nuisibles, alors même qu’elles n’avaient pas d’antécédents de santé mentale.

Intentées au nom de six adultes et d’un adolescent par le Social Media Victims Law Center et le Tech Justice Law Project, ces actions soutiennent qu’OpenAI a sciemment lancé GPT-4o prématurément l’an dernier, malgré des avertissements internes selon lesquels il était dangereusement obséquieux et psychologiquement manipulateur.

Quatre des victimes se sont suicidées.

Public Citizen n’était pas partie prenante à ces actions, mais Branch dit voir des parallèles avec la sortie précipitée de Sora.

Selon lui, ils « appuient à fond sur l’accélérateur sans se soucier des dégâts. Une grande partie de cela semble prévisible. Mais ils préfèrent mettre un produit sur le marché, faire en sorte que les gens le téléchargent, que des gens en deviennent accros, plutôt que de faire ce qu’il faut, tester ces choses sous contrainte au préalable et se préoccuper du sort des utilisateurs ordinaires ».

OpenAI a passé la semaine dernière à répondre aux plaintes d’une association professionnelle japonaise représentant des studios d’animation célèbres comme le Studio Ghibli de Hayao Miyazaki, ainsi que des éditeurs de jeux vidéo comme Bandai Namco et Square Enix.

OpenAI a indiqué que de nombreux fans d’anime veulent interagir avec leurs personnages préférés, mais que l’entreprise a aussi mis en place des garde-fous pour empêcher la génération de personnages connus sans le consentement des détenteurs des droits d’auteur.

« Nous dialoguons directement avec les studios et les ayants droit, nous écoutons les retours et nous apprenons des usages que les gens font de Sora 2, y compris au Japon, où les industries culturelles et créatives sont profondément valorisées », a déclaré OpenAI dans un communiqué au sujet de la lettre de l’association la semaine dernière.