Cette semaine, Google a dévoilé Gemini, qui ressemble déjà à un rival effrayant et clever du GPT-4 d’OpenAI.
Gemini se compose de trois modèles différents qui varient en taille et en capacités. Son modèle le additionally avancé, Gemini Ultra – qui n’est pas encore disponible au public, mais selon Google, est conçu pour des « tâches très complexes » – surpasse GPT-4 dans plusieurs domaines, de la connaissance de sujets comme l’histoire et le droit à la génération de code en Python.
aux tâches qui nécessitent un raisonnement en plusieurs étapes, a déclaré Google dans son annonce.
Google a déclaré que Gemini avait surpassé GPT-4 au examination Huge Multitask Language Knowledge, ou MMLU, qui est l’une des méthodes les plus populaires pour évaluer les connaissances et les compétences en résolution de problèmes des modèles d’IA.
Vous pourriez le comparer aux « SAT pour les modèles d’IA », a déclaré Kevin Roose sur le podcast technologique Challenging Fork du New York Times.
Le MMLU, cependant, est un peu additionally avancé qu’un examen préparatoire à l’université typique. Il couvre 57 matières, dont les mathématiques, la physique, l’histoire, le droit, la médecine et l’éthique, pour tester à la fois la connaissance du monde et les capacités de résolution de problèmes, selon l’annonce de Google.
Gemini Ultra a obtenu un rating de 90 % sur le MMLU, tandis que GPT-4 a obtenu un score de 86,4 %, selon Google.
Mais l’exploit le moreover impressionnant du Gemini Extremely pourrait être qu’il s’agit également du leading modèle à surpasser les specialists humains sur le MMLU. Les authorities humains ont obtenu un score d’environ 89,8 %, a indiqué Google dans un rapport technique sur Gemini.
« Je pense que si vous remontiez deux ou trois ans en arrière et disiez aux chercheurs en IA que Google aura un modèle qui obtiendra 90 % sur le MMLU, ce qui est meilleur que le seuil de référence pour les gurus humains, ils auraient dit : eh bien.
c’est AGI », a déclaré Roose. L’AGI, ou intelligence générale artificielle, est une forme hypothétique d’intelligence artificielle capable de traiter des capacités humaines complexes comme le bon sens et la conscience.
Selon Google, GPT-4 a battu Gemini Extremely de plusieurs details de pourcentage dans une évaluation des capacités de raisonnement de bon sens pour les tâches quotidiennes.
Mais selon Google, l’un des avantages du Gemini par rapport aux autres modèles est qu’il est nativement multimodal, ce qui signifie qu’il a été conçu dès le départ pour traiter plusieurs varieties de données, du texte à l’audio en passant par le code, les images et la vidéo. D’autres modèles multimodaux ont été créés en « assemblant » des modèles textuels, visuels uniquement et audio uniquement de manière « sous-optimale », a déclaré Oriol Vinyals, vice-président de la recherche pour DeepMind de Google, dans une vidéo annonçant Gemini.
En conséquence, Google affirme que la conception de Gemini lui permet de mieux comprendre les entrées que les modèles multimodaux existants.
Les chercheurs à l’origine du blog SemiAnalysis affirment également que Gemini va probablement « écraser » GPT-4 grâce à sa puissance de calcul.
Bien que Gemini Ultra ait certainement fixé des attentes élevées pour son arrivée, le jury ne sait toujours pas remark le trio de modèles Gemini se comportera deal with à OpenAI, qui a déjà un avantage en termes de sensibilisation des consommateurs.
Les premières réactions au Gemini Pro, moins avancé, available by means of le chatbot Bard de Google, ont été positives.
Cependant, le modèle a également eu des problèmes de précision et d’hallucinations. Il a même conseillé aux gens de recourir à Google pour obtenir des réponses à des queries controversées.
