Yann LeCun remet en question les « lois de mise à l’échelle » dans le développement de l’intelligence artificielle.
Lors d’une conférence à Singapour, Yann LeCun, le scientifique en chef de l’IA chez Meta, a exprimé des doutes sur l’idée selon laquelle la seule augmentation de l’échelle des modèles d’intelligence artificielle garantit une meilleure performance. Pour lui, plus de données et plus de calcul ne signifient pas nécessairement une IA plus intelligente.
Contestation des « lois de mise à l’échelle »
Le concept des « lois de mise à l’échelle », formulé par des chercheurs d’OpenAI dans un article fondateur en 2020 intitulé « Échec des lois pour les modèles de langage neuronal », établit que la performance d’un modèle dépend principalement du nombre de paramètres du modèle (N), de la taille de l’ensemble de données (D) et du calcul utilisé pour sa formation (C). Cette théorie a encouragé d’importants investissements dans les infrastructures nécessaires au traitement massif des données.
Controverses parmi les experts en IA
Cependant, LeCun souligne que ces principes commencent à être controversés parmi les experts en IA. Il a déclaré : « Les problèmes les plus intéressants évoluent extrêmement mal. Vous ne pouvez pas simplement supposer que plus de données et plus de calcul signifie une IA plus intelligente. » Selon lui, la simple exposition aux grandes quantités d’informations disponibles sur Internet ne peut aboutir à ce qu’il appelle une superintelligence.
Extrapolation erronée
Il met aussi en garde contre le raisonnement erroné qui consiste à extrapoler le succès rencontré par les systèmes simples sur des tâches faciles à des problématiques complexes : « L’erreur est que les systèmes très simples, lorsqu’ils travaillent pour des problèmes simples, sont extrapolés pour penser qu’ils fonctionneront pour des problèmes complexes. »
Progresses récents et limitations
Au fur et à mesure que ses réflexions se développent, LeCun note également que certains progrès récents dans le domaine semblent faciles et rappellent certaines capacités cognitives limitées. Il cite par exemple le fait que les grands modèles linguistiques actuels sont formés avec environ autant d’informations que celles dont dispose le cortex visuel d’un enfant âgé de quatre ans.
Approche centrée sur le monde réel
Il conclut en insistant sur la nécessité d’une évolution vers une approche centrée sur le monde réel : « Nous avons besoin de systèmes d’IA qui peuvent apprendre rapidement. comprendre le monde physique – pas seulement le texte et la langue. tout ce que nous attendons des entités intelligentes. »
Compréhension dynamique et prévision
Il évoque un podcast où il avait souligné qu’une intelligence artificielle avancée devrait avoir non seulement capacité prédictive mais également compréhension dynamique : « La composante supplémentaire d’un modèle mondial est quelque chose qui peut prédire comment le monde va évoluer suite à une action que vous pourriez prendre. »
Ces réflexions pourraient marquer un tournant dans la manière dont l’industrie aborde ses futurs développements technologiques.
