Les chatbots IA populaires d’OpenAI Inc. Google LLC et Meta Platforms Inc. sont sujets à des « hallucinations » lorsqu’ils répondent à des questions juridiques, ce qui présente des risques particuliers pour les personnes utilisant cette technologie, car elles n’ont pas les moyens de se payer un avocat humain, selon une nouvelle étude de l’Université de Stanford.
dit.
Les grands modèles de langage hallucinent au moins 75% du temps lorsqu’ils répondent à des questions sur la décision fondamentale d’un tribunal, ont découvert les chercheurs. Ils ont testé plus de 200 000 questions juridiques sur ChatGPT 3.
5 d’OpenAI, PaLM 2 de Google et Llama 2 de Meta, tous des modèles à usage général non conçus pour un usage juridique spécifique.
L’intelligence artificielle générative a fait naître l’espoir que cette puissante technologie puisse aider à fournir des services juridiques aux personnes qui n’ont pas les moyens de payer les services d’un avocat. Selon la Legal Services Corporation, une organisation à but non lucratif, les personnes à faible revenu aux États-Unis n’ont reçu aucune aide, voire aucune, pour 92% des problèmes de droit civil auxquels elles sont confrontées.
Mais les imprécisions de l’IA pourraient mettre un frein à ces espoirs, ont prévenu des chercheurs de Stanford, qui ont publié une étude préliminaire au début de l’année et annoncé leurs conclusions dans un blog le 11 janvier.
« La grande découverte ici est que les taux d’hallucinations ne sont pas isolés, ils sont assez répandus », a déclaré Daniel Ho, professeur de droit à Stanford et chercheur principal à l’Institut pour l’intelligence artificielle centrée sur l’homme de l’école, co-auteur de la recherche. papier.
« Procédez avec beaucoup plus de prudence »
Les outils d’IA générative spécialement conçus pour un usage légal pourraient être plus performants, mais la construction de ces outils sur des modèles à usage général pourrait encore entraîner des problèmes de précision, a déclaré Ho.
Pour une tâche, les chercheurs ont demandé aux modèles d’IA d’indiquer si deux affaires judiciaires différentes étaient en accord ou en désaccord – une tâche essentielle de recherche juridique. Selon l’étude, les modèles ne font pas mieux que des suppositions aléatoires.
Vidéo : Les lois peuvent-elles suivre le rythme rapide de l’IA ?
Les modèles ont commis des erreurs plus fréquentes lorsqu’ils ont été interrogés sur la jurisprudence des tribunaux de district fédéraux inférieurs et étaient plus précis dans les affaires de la Cour suprême des États-Unis et des cours d’appel des États-Unis pour le deuxième et le neuvième circuit, selon l’étude.
Cela pourrait être dû au fait que ces cas sont plus fréquemment cités et discutés, de sorte qu’ils apparaissent plus fréquemment dans les données d’entraînement des modèles, ont indiqué les chercheurs.
Les chercheurs de Stanford ont également constaté que les modèles hallucinaient plus souvent lorsqu’on les interrogeait sur des affaires très récentes et des affaires très anciennes de la Cour suprême, et qu’ils étaient plus précis sur les affaires de la fin du XXe siècle.
Les modèles souffraient également de « biais contrafactuels » : ils étaient susceptibles de croire à une fausse prémisse intégrée dans la question d’un utilisateur, agissant de manière « flagorneuse » pour renforcer l’erreur de l’utilisateur.
ChatGPT et PaLM étaient plus susceptibles de ne pas remettre en question la véracité de l’invite, tandis que Llama est « plus susceptible de remettre en question les prémisses » d’une invite que les autres modèles qu’ils ont testés, a déclaré Ho. Les chercheurs ont découvert que Llama était plus susceptible de nier l’existence d’un cas réel.
L’IA pour les plaideurs non représentés
Dans son rapport de fin d’année sur le système judiciaire fédéral, le juge en chef John Roberts a souligné l’espoir que l’IA puisse accroître l’accès à la justice.
« Pour ceux qui n’ont pas les moyens de payer les services d’un avocat, AI peut les aider », écrit-il. « Ces outils ont le potentiel bienvenu de combler toute inadéquation entre les ressources disponibles et les besoins urgents de notre système judiciaire. »
Mais les problèmes d’exactitude des modèles étaient plus prononcés là où les plaideurs pro se – ou non représentés – les utilisaient probablement, comme dans le cadre de recherches dans des affaires portées devant des tribunaux inférieurs, ont déclaré les chercheurs de Stanford.
« Les performances de ces modèles ont tendance à se concentrer sur les domaines qui sont déjà très bien servis par les grands cabinets d’avocats puissants et de grande taille », a déclaré Matthew Dahl, étudiant en JD/PhD à la Yale Law School et à l’Université de Yale. Département de science politique qui a travaillé sur la recherche. « Les performances que nous voyons dans nos journaux ne proviennent pas d’affaires portées devant la Cour suprême.
Il n’y a pas beaucoup de plaideurs professionnels qui plaident devant la Cour suprême.
Les chercheurs espèrent voir les modèles fonctionner mieux lorsqu’on les interroge sur les tribunaux de première comparution, a-t-il ajouté.
Et la tendance des modèles à accepter les questions factuellement inexactes d’un utilisateur causerait probablement des problèmes aux non-avocats qui posent des questions juridiques, qui « ne connaissent pas la réponse à la question, mais ils ne connaissent même pas la question dans le contexte ».
première place », a déclaré Dahl. Il a ajouté qu’il espérait voir les modèles construire de meilleurs garde-fous pour corriger les prémisses erronées dans les requêtes.
Un porte-parole de Google a refusé de commenter directement l’étude, mais a déclaré dans un communiqué que la société continuait à travailler sur l’atténuation des hallucinations et avait été transparente dès le début sur les limites des grands modèles de langage.
OpenAI et Meta n’ont pas immédiatement répondu aux demandes de commentaires.
