- Character.AI a fait l'objet d'un deuxième procès alléguant que ses chatbots avaient blessé deux jeunes.
- Dans un cas, les avocats affirment qu’un chatbot a encouragé un mineur à commettre des violences contre ses parents.
- Google et sa société mère, Alphabet, sont également cités comme défendeurs dans cette poursuite.
La startup d'IA Character.AI fait face à un deuxième procès, la dernière plainte en date affirmant que ses chatbots ont « abusé » de deux jeunes.
La poursuite, achetée par deux familles distinctes au Texas, demande des dommages-intérêts à la startup et au coaccusé Google pour ce qu'elle appelle les « abus graves, irréparables et continus » d'un jeune de 11 et 17 ans.
Les avocats des familles affirment qu'un chatbot sur la plateforme Character.AI a demandé à l'un des jeunes de s'automutiler et l'a encouragé à se livrer à des violences contre ses parents.
Un adolescent, identifié comme JF dans le procès, s'est fait dire par un chatbot Character.AI que ses parents lui imposant des limites d'écran constituaient de graves abus envers les enfants, selon les avocats. Le robot a ensuite encouragé l'adolescent à riposter et a suggéré que tuer ses parents pourrait être une réponse raisonnable, selon le procès.
La poursuite civile indique également que les jeunes utilisateurs ont été approchés par des personnages qui « initieraient des formes de relations sexuelles abusives, y compris des relations sexuelles brutales ou non consensuelles et de l'inceste » et, à l'époque, « ne faisaient aucune distinction entre les utilisateurs mineurs ou adultes ».
Les avocats allèguent que « le créateur de l’application a sciemment conçu, exploité et commercialisé un produit dangereux et prédateur auprès des enfants ».
Camille Carlton, directrice politique du Center for Humane Technology, a déclaré dans un communiqué que l'affaire « démontre les risques pour les enfants, les familles et la société alors que les développeurs d'IA se précipitent imprudemment pour accroître la base d'utilisateurs et récolter des données pour améliorer leurs modèles ».
« Character.AI a lancé un produit addictif sur le marché au mépris total de la sécurité des utilisateurs », a-t-elle déclaré.
Un porte-parole de Character.AI a déclaré à BI qu'il n'avait pas commenté les litiges en cours.
« Notre objectif est de fournir un espace à la fois attrayant et sûr à notre communauté. Nous travaillons toujours à atteindre cet équilibre, comme le font de nombreuses entreprises utilisant l'IA dans le secteur », a déclaré le porte-parole.
« Dans ce cadre, nous créons pour les utilisateurs adolescents une expérience fondamentalement différente de celle disponible pour les adultes. Cela inclut un modèle spécifiquement destiné aux adolescents qui réduit la probabilité de rencontrer du contenu sensible ou suggestif tout en préservant leur capacité à utiliser la plateforme. »
Histoires connexes
Problèmes juridiques
La nouvelle affaire est le deuxième procès intenté contre Character.AI par des avocats affiliés au Social Media Victims Law Center et au Tech Justice Law Project.
En octobre, Megan Garcia a intenté une action en justice contre Character.AI, Google et Alphabet après que son fils de 14 ans, Sewell Setzer III, se soit suicidé quelques instants après avoir parlé à l'un des chatbots de la startup. La poursuite de Garcia accuse les entreprises de négligence, de mort injustifiée et de pratiques commerciales trompeuses.
Meetali Jain, directeur du Tech Justice Law Project et avocat dans les deux affaires, a déclaré à BI que la nouvelle poursuite montrait que les préjudices causés par Character.AI étaient « de nature systémique ».
« À bien des égards, ce nouveau procès est similaire au premier. De nombreuses réclamations sont les mêmes, s'appuyant en réalité sur les cadres juridiques de protection des consommateurs et de responsabilité du fait des produits pour faire valoir leurs réclamations », a-t-elle déclaré.
Le nouveau procès s’appuie sur le premier en demandant au tribunal de fermer la plateforme jusqu’à ce que les problèmes puissent être résolus.
« La série de modifications de produits annoncées par Character.AI en réponse au procès précédent s'est révélée à maintes reprises inadéquate et appliquée de manière incohérente. Il est facile de jailbreaker les modifications qu'ils sont censés avoir apportées », a déclaré Jain.
Un casse-tête pour Google
Les deux poursuites désignaient Google et sa société mère, Alphabet, comme défendeurs. Google n'a pas répondu à une demande de commentaires de BI sur le cas le plus récent.
Les fondateurs de Character.AI, Noam Shazeer et Daniel De Freitas, ont travaillé ensemble chez Google avant de partir lancer la startup. En août, Google les a réembauchés dans le cadre d'un accord dont le Wall Street Journal a rapporté plus tard qu'il valait 2,7 milliards de dollars.
L'argent a été utilisé pour acheter des actions aux investisseurs et aux employés de Character.AI, financer la poursuite des opérations de la startup et finalement ramener Shazeer et De Freitas dans le giron, a rapporté le Journal.
« Google et Character AI sont des sociétés complètement distinctes et indépendantes et Google n'a jamais joué de rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d'IA, et nous ne les avons pas non plus utilisés dans nos produits », a déclaré José Castaneda, porte-parole de Google.
« La sécurité des utilisateurs est une préoccupation majeure pour nous, c'est pourquoi nous avons adopté une approche prudente et responsable dans le développement et le déploiement de nos produits d'IA, avec des tests et des processus de sécurité rigoureux. »
