La technologie de l’IA générative a progressé si rapidement au cours des dernières années que certains authorities se demandent déjà si nous avons atteint le « pic de l’IA ».
Mais Richard Socher, ancien scientifique en chef chez Salesforce et PDG du moteur de recherche basé sur l#39IA You.
com, estime qu#39il nous reste encore du chemin à parcourir.
Dans un podcast de la Harvard Business Review la semaine dernière, Socher a déclaré que nous pouvions améliorer les grands modèles de langage en les forçant à répondre à certaines invites du code.
À l’heure actuelle, les grands modèles de langage « prédisent simplement le prochain jeton, compte tenu de l’ensemble de jetons précédent », a déclaré Socher – les jetons étant les furthermore petites unités de données ayant une signification dans les systèmes d’IA.
Ainsi, même si les LLM font preuve d’impressionnantes compétences en compréhension écrite et en codage et peuvent réussir des examens difficiles, les modèles d’IA ont toujours tendance à halluciner – un phénomène dans lequel ils crachent de manière convaincante des erreurs factuelles comme étant la vérité.
Et c#39est particulièrement problématique lorsqu#39on leur pose des thoughts mathématiques complexes, a déclaré Socher.
Il a donné un exemple sur lequel un grand modèle linguistique pourrait tâtonner : « Si je donnais à un bébé 5 000 $ à la naissance pour qu#39il investisse dans un fonds indiciel boursier sans frais, et je suppose un certain pourcentage des rendements annuels moyens, combien aura-t-il à l#39âge de deux ans.
à cinq heures ? »
Selon lui, un grand modèle linguistique commencerait tout simplement à générer du texte basé sur des issues similaires auxquelles il avait été exposé dans le passé. « Cela ne dit pas vraiment: #39Eh bien, cela m#39oblige à réfléchir très attentivement, à faire de vrais calculs et à donner ensuite la réponse#39 », a-t-il expliqué.
Mais si vous pouvez « forcer » le modèle à traduire cette dilemma en code informatique et à générer une réponse basée sur le résultat de ce code, vous aurez in addition de prospects d#39obtenir une réponse précise, a-t-il déclaré.
Socher n#39a pas fourni de détails sur le processus, mais a déclaré que sur You.com, ils étaient en mesure de traduire les issues en Python. D’une manière générale, la programmation « leur donnera bien as well as de carburant pour les prochaines années en termes de ce qu’ils peuvent faire », a-t-il ajouté.
Les commentaires de Socher interviennent alors qu#39un nombre croissant de grands modèles de langage peinent à déjouer le GPT-4 d#39OpenAI. Gemini, « le modèle d#39IA le as well as performant de Google à ce jour », surpasse à peine GPT-4 sur des critères importants comme le MMLU, l#39une des méthodes les as well as populaires pour évaluer les connaissances et les compétences en résolution de problèmes des modèles d#39IA. Et bien que l#39approche incontournable ait simplement Après avoir essayé de faire évoluer ces modèles en termes de données et de puissance de calcul, Socher suggère que cette approche pourrait conduire à une impasse.
« Il n#39y a qu#39un nombre limité de données supplémentaires sur lesquelles le modèle peut s#39entraîner », a-t-il déclaré.
- Richard Socher, ancien directeur de Salesforce, affirme que pour améliorer considérablement l'IA, il faut programmer les réponses au lieu de simplement les prédire.
- Cette approche donnerait aux modèles d'IA plus de potentiel en termes de compétences et de connaissances.
- Socher suggère que cette approche pourrait être une alternative à l'évolution des modèles d'IA en termes de données et de puissance de calcul.