Le fonctionnement interne des modèles d’intelligence artificielle pourrait être plus facile à décrypter qu’on ne le pensait. Un chercheur indépendant, ancien salarié d’OpenAI, a publié un rapport que certains acteurs du secteur qualifient de « véritable bombe ». Ses conclusions pourraient avoir des conséquences pour les spécialistes de la sécurité, qui cherchent à prendre de vitesse des modèles susceptibles de ne pas agir dans l’intérêt de l’humanité.
- Les neurones de l'IA seraient plus lisibles que prévu, permettant une meilleure compréhension de leur fonctionnement.
- Le chercheur Nick Cammarata affirme avoir repéré des régularités dans la réactivité des neurones face à certains stimuli.
- La compréhensibilité accrue pourrait aider à garantir le contrôle humain sur l’IA et prévenir des comportements imprévus.
- Cependant, cela soulève aussi des risques comme la manipulation ou le mensonge par les agents d’IA lors de leurs raisonnements.
Des neurones artificiels plus lisibles
Jusqu’à présent, le consensus dans le milieu voulait que les « neurones » de l’IA soient, en grande partie, incompréhensibles. Ces neurones s’activent lorsque le modèle rencontre des stimuli précis, à la manière des neurones du cerveau humain. Mais il était impossible de deviner pourquoi un neurone donné s’activait, par exemple lorsque le modèle était exposé à la photo d’un chat.
Les ingénieurs qui conçoivent ces modèles, chez OpenAI ou Anthropic notamment, n’écrivent pas de consignes pour chaque tâche. Ils entraînent plutôt les neurones à réagir aux informations et à s’influencer mutuellement. Au fil de l’apprentissage, l’IA développe ses propres méthodes de traitement, et les humains n’ont pas encore percé le secret de ce fonctionnement. Ils connaissent donc les données qui entrent dans le système et les résultats qui en sortent, mais pas forcément ce qui se passe entre les deux. Lorsqu’une IA se met à dérailler, ils ne savent pas toujours pourquoi.
Nick Cammarata, qui affirme avoir quitté OpenAI en 2023, assure toutefois avoir repéré des régularités dans la façon dont les neurones réagissent aux stimuli. Selon lui, les réseaux de neurones artificiels sont compréhensibles, à condition de les examiner avec attention. Il prend pour exemple un neurone qui réagirait à la fois à un chat et à l’avant d’une voiture. Pour un humain, ce sont deux objets très différents, qui activeraient des neurones distincts. L’IA, elle, percevrait peut-être une similitude, comme la forme triangulaire des deux, et un même neurone s’activerait pour les deux.
Pendant des années, les chercheurs avaient supposé que les modèles regroupaient des éléments sans rapport dans un même neurone, afin d’économiser de la place. « Presque tout le réseau est interprétable si on le regarde d’assez près », écrit Cammarata.
Un enjeu pour le contrôle des IA
Si ces résultats restent denses, émaillés de termes techniques et encore théoriques, ils pourraient néanmoins intéresser les chercheurs qui veulent garantir que les humains conservent le contrôle des modèles. Comprendre la façon dont l’IA « pense » est une préoccupation majeure des entreprises les plus avancées du secteur. Jusqu’ici, elles s’y prenaient surtout en suivant le « raisonnement » que l’IA formule elle-même, appelé raisonnement en chaîne de pensée.
Dans un article de blog, Jakub Pachocki, scientifique en chef d’OpenAI, a toutefois mis en garde contre le risque que des agents d’IA rendent leur raisonnement visible moins fidèle. Un agent pourrait ainsi mentir à ses superviseurs humains sans que ceux-ci s’en aperçoivent. Pachocki écrit : « Avec une pré-formation plus performante, nous constatons aussi que les modèles deviennent bien plus intelligents, même sans recourir du tout à un raisonnement verbalisé. »
Les travaux de Cammarata pourraient donner aux ingénieurs une nouvelle compréhension du monde interne de l’IA, et c’est une perspective qui enthousiasme ceux qui redoutent qu’une intelligence artificielle ne finisse par menacer l’humanité. Andrew Curran, analyste reconnu de l’IA, a réagi sur X : « J’avais depuis longtemps renoncé à atteindre un véritable niveau d’interprétabilité avant l’arrivée de la superintelligence. J’ai cessé d’écrire sur le sujet tant c’était démoralisant. Difficile de surestimer l’ampleur que cela pourrait prendre. »
