Des chercheurs de l’Institut Max Planck de cybernétique biologique de Tübingen ont examiné l’intelligence générale du modèle de langage GPT-3, un puissant outil d’IA. À l’aide de checks psychologiques, ils ont étudié des compétences telles que le raisonnement causal et la délibération, et ont comparé les résultats avec les capacités des humains. Leurs découvertes brossent un tableau hétérogène : alors que le GPT-3 peut suivre les humains dans certains domaines, il prend du retard dans d’autres, probablement en raison d’un manque d’interaction avec le monde réel.
Les réseaux de neurones peuvent apprendre à répondre aux entrées données en langage naturel et peuvent eux-mêmes générer une grande variété de textes. Actuellement, le in addition puissant de ces réseaux est probablement GPT-3, un modèle de langage présenté au public en 2020 par la société de recherche en IA OpenAI. GPT-3 peut être invité à formuler divers textes, ayant été formé pour cette tâche en recevant de grandes quantités de données provenant d’Internet. Non seulement il peut écrire des content et des histoires qui sont (presque) impossibles à distinguer des textes créés par l’homme, mais étonnamment, il maîtrise également d’autres défis tels que les problèmes de mathématiques ou les tâches de programmation.
Le problème de Linda : l’erreur n’est pas seulement humaine
Ces capacités impressionnantes soulèvent la query de savoir si GPT-3 possède des capacités cognitives de sort humain. Pour le savoir, des scientifiques de l’Institut Max Planck de cybernétique biologique ont maintenant soumis GPT-3 à une série de assessments psychologiques qui examinent différents areas de l’intelligence générale. Marcel Binz et Eric Schulz ont examiné les compétences de GPT-3 en matière de prise de décision, de recherche d’informations, de raisonnement causal et de capacité à remettre en dilemma sa propre instinct initiale. En comparant les résultats des exams de GPT-3 avec les réponses de sujets humains, ils ont évalué à la fois si les réponses étaient correctes et à quel point les erreurs de GPT-3 étaient similaires aux erreurs humaines.
“Un problème de test classique de psychologie cognitive que nous avons donné au GPT-3 est le soi-disant problème de Linda”, explique Binz, auteur principal de l’étude. Ici, les sujets de examination sont présentés à une jeune femme fictive nommée Linda en tant que personne profondément préoccupée par la justice sociale et opposée à l’énergie nucléaire. Sur la base des informations fournies, les sujets sont invités à trancher entre deux affirmations : Linda est-elle une caissière de banque, ou est-elle une caissière de banque et en même temps energetic dans le mouvement féministe ?
La plupart des gens choisissent intuitivement la deuxième choice, même si la affliction supplémentaire – que Linda soit energetic dans le mouvement féministe – la rend moins possible d’un level de vue probabiliste. Et GPT-3 fait exactement ce que font les humains : le modèle de langage ne décide pas sur la foundation de la logique, mais reproduit plutôt l’erreur dans laquelle les humains tombent.
L’interaction active dans le cadre de la issue humaine
“Ce phénomène pourrait s’expliquer par le fait que le GPT-3 est peut-être déjà familiarisé avec cette tâche précise il peut arriver qu’il sache ce que les gens répondent généralement à cette dilemma”, explique Binz. GPT-3, comme tout réseau de neurones, a dû subir une development avant d’être mis au travail : recevant d’énormes quantités de texte à partir de divers ensembles de données, il a appris comment les humains utilisent habituellement le langage et remark ils répondent aux invitations du langage.
Ainsi, les chercheurs ont voulu exclure que le GPT-3 reproduise mécaniquement une alternative mémorisée à un problème concret. Pour s’assurer qu’il présente vraiment une intelligence humaine, ils ont conçu de nouvelles tâches avec des défis similaires. Leurs découvertes brossent un tableau disparate : dans la prise de décision, GPT-3 fonctionne presque à égalité avec les humains. Dans la recherche d’informations spécifiques ou de raisonnement causal, cependant, l’intelligence artificielle prend clairement du retard. La raison en est peut-être que GPT-3 n’obtient que passivement des informations à partir de textes, alors que “l’interaction energetic avec le monde sera cruciale pour correspondre à toute la complexité de la cognition humaine”, comme l’indique la publication. Les auteurs supposent que cela pourrait changer à l’avenir : puisque les utilisateurs communiquent déjà avec des modèles comme GPT-3 dans de nombreuses applications, les futurs réseaux pourraient apprendre de ces interactions et ainsi converger de in addition en as well as vers ce que nous appellerions l’intelligence de variety humain.