Ilya Sutskever appelle à un retour à la recherche dans l’industrie de l’IA
Ilya Sutskever, cofondateur d’OpenAI, met en lumière les limites de la mise à l’échelle dans le domaine de l’intelligence artificielle. Dans un récent épisode du « Dwarkesh Podcast », il a plaidé pour une inversion des priorités, suggérant que l’industrie doit se concentrer sur la recherche plutôt que sur le simple accroissement des capacités de calcul.
La fin d’une ère axée sur la mise à l’échelle
Au cours de son entretien, Sutskever a exprimé des doutes quant à l’idée selon laquelle augmenter massivement les capacités de traitement et les données entraînerait nécessairement des avancées significatives en IA. Il souligne que cette approche, qui a dominé le secteur ces dernières années avec des investissements considérables dans des GPU et des centres de données, est maintenant dépassée : « Depuis environ une demi-décennie, cette recette a produit des résultats percutants », mais elle arrive désormais à ses limites.
Un changement nécessaire
Sutskever affirme que « la croyance est-elle vraiment : ‘Oh, c’est si grand, mais si vous en aviez 100 fois plus, tout serait si différent ?’ Ce serait différent. Mais est-ce qu’on croit que si on multiplie par 100 l’échelle, tout serait transformé ? Je ne pense pas ». Cela marque un tournant vers une époque où les organisations doivent privilégier la recherche pour explorer comment utiliser efficacement leurs ressources puissantes.
Il considère toujours le calcul comme essentiel pour cette recherche. Toutefois, il insite sur le fait qu’il faut trouver des moyens productifs d’exploiter ces puissants outils informatiques acquis au fil du temps. Il déclare également qu’un domaine critique nécessitant davantage d’investigations est celui de la généralisation des modèles afin qu’ils puissent apprendre efficacement avec peu d’informations, quelque chose qui semble être loin derrière les capacités humaines.
« Ce qui, à mon avis, est le plus fondamental » , explique-t-il, « c’est que ces modèles généralisent d’une manière ou d’une autre de manière dramatiquement pire que les gens ».
Perspectives futures
Le discours de Ilya Sutskever vient souligner un tournant potentiel dans le développement technologique du secteur. Plutôt que de s’appuyer uniquement sur des ressources énormes et facilement accessibles telles que le calcul intensif ou Turing massive data feeding model training pipelines similaires aux LLM (modèles linguistiques), il pourrait être crucial pour les sociétés focalisées sur l’intelligence artificielle de rediriger leurs efforts vers la recherche fondamentale pour améliorer réellement leur compréhension et leur application pratique.
La communauté technologique devra alors accompagner ce mouvement en adaptant ses stratégies et investissements.
