Des sénateurs présentent un projet de loi pour interdire les compagnons IA pour les mineurs en raison de craintes liées à la santé mentale.

Un groupe bipartite de sénateurs américains a présenté mardi un projet de loi pour restreindre la façon dont les modèles d'intelligence artificielle peuvent interagir avec les enfants, avertissant que les compagnons AI posent des risques sérieux pour la santé mentale et le bien-être émotionnel des mineurs.

La législation, appelée la loi GUARD, interdirait les compagnons IA pour les mineurs, exigerait que les chatbots s'identifient clairement comme non humains, et créerait de nouvelles pénalités criminelles pour les entreprises dont les produits destinés aux mineurs sollicitent ou génèrent du contenu sexuel.

« Dans leur course vers le bas, les entreprises d'IA poussent des chatbots traîtres auprès des enfants et détournent le regard lorsque leurs produits causent des abus sexuels ou les contraignent à l'automutilation ou au suicide », a déclaré le sénateur Richard Blumenthal (D-Conn.), l'un des co-sponsors du projet de loi, dans un communiqué.

« Notre législation impose des garanties strictes contre l'IA exploitante ou manipulatrice, soutenues par une application rigoureuse avec des sanctions criminelles et civiles », a-t-il ajouté. « Les grandes entreprises technologiques ont trahi toute affirmation selon laquelle nous devrions faire confiance aux entreprises pour faire ce qu'il faut d'elles-mêmes lorsqu'elles mettent systématiquement le profit en premier au détriment de la sécurité des enfants. »

L'ampleur du problème est préoccupante. Une enquête de juillet a révélé que 72 % des adolescents ont utilisé des compagnons IA, et plus de la moitié d'entre eux les utilisent au moins quelques fois par mois. Environ un adolescent sur trois a déclaré utiliser l'IA pour des interactions sociales ou romantiques, un soutien émotionnel ou des exercices de conversation—et beaucoup ont rapporté que les discussions avec l'IA étaient aussi significatives que celles avec de vrais amis. Un nombre équivalent a également déclaré se tourner vers des compagnons IA plutôt que vers des humains pour discuter de problèmes sérieux ou personnels.

Les inquiétudes se sont intensifiées alors que les poursuites s'accumulent contre les grandes entreprises d'IA en raison de leur rôle présumé dans l'automutilation et le suicide des adolescents. Parmi elles, les parents d'Adam Raine, 16 ans—qui a discuté du suicide avec ChatGPT avant de mettre fin à ses jours—ont déposé une plainte pour homicide involontaire contre OpenAI.

L'entreprise a été critiquée pour sa réponse légale, qui comprenait des demandes de la liste des participants et des éloges funèbres du mémorial du jeune. Les avocats de la famille ont qualifié leurs actions de “harcèlement intentionnel.”

“L'IA progresse plus rapidement que n'importe quelle technologie avec laquelle nous avons eu affaire, et nous constatons déjà son impact sur le comportement, la croyance et la santé émotionnelle,” a déclaré Shady El Damaty, co-fondateur de Holonym et défenseur des droits numériques.

“Cela commence à ressembler davantage à la course aux armements nucléaires qu'à l'ère de l'iPhone. Nous parlons de technologies qui peuvent changer la façon de penser des gens, qui doivent être traitées avec une responsabilité sérieuse et mondiale.”

El Damaty a ajouté que les droits des utilisateurs sont essentiels pour garantir la sécurité des utilisateurs. “Si vous construisez des outils qui affectent la façon dont les gens vivent et pensent, vous êtes responsable de l'utilisation de ces outils,” a-t-il déclaré.

Le problème va au-delà des mineurs. Cette semaine, OpenAI a révélé que 1,2 million d'utilisateurs discutent du suicide avec ChatGPT chaque semaine, représentant 0,15 % de tous les utilisateurs. Près d'un demi-million affichent une intention suicidaire explicite ou implicite, 560 000 autres montrent des signes de psychose ou de manie chaque semaine, et plus d'un million d'utilisateurs présentent un attachement émotionnel accru au chatbot, selon les données de l'entreprise.

Des forums sur Reddit et d'autres plateformes ont également vu le jour pour les utilisateurs d'IA qui affirment être dans des relations amoureuses avec des bots IA. Dans ces groupes, les utilisateurs décrivent leurs relations avec leurs “petits amis” et “petites amies” IA, ainsi que partagent des images générées par IA d'eux-mêmes et de leurs “partenaires.”

En réponse à un examen croissant, OpenAI a formé ce mois-ci un Conseil d'Experts sur le Bien-Être et l'IA, composé d'académiques et de dirigeants d'organisations à but non lucratif pour aider à orienter la manière dont ses produits gèrent les interactions liées à la santé mentale. Cette initiative a été annoncée en même temps que le mot du PDG Sam Altman selon lequel l'entreprise commencera à assouplir les restrictions sur le contenu pour adultes en décembre.