Une étude révèle que les modèles d’intelligence artificielle (IA) sont plus efficaces pour corriger les erreurs d’applications sur iOS que sur Android. Les résultats montrent que même le modèle Gemini 1.5 Pro de Google obtient de meilleures performances sur la plateforme d’Apple. L’écosystème fragmenté d’Android et la variabilité des langages contribuent à cette disparité.
Les modèles d’IA performent mieux sur iOS
Une récente étude menée par Instabug a démontré que les modèles d’intelligence artificielle réussissent mieux à corriger les crashs d’applications sur iOS comparativement à Android. Instabug a développé un outil, nommé SmartResolve, qui utilise des algorithmes avancés pour identifier et résoudre automatiquement les problèmes liés aux applications mobiles.
Lors de tests effectués avec différentes solutions telles qu’OpenAI, Anthropic, Google et Meta, il a été noté que la précision et la cohérence des correctifs générés étaient supérieures dans l’environnement Apple. Sur iOS, les corrections se sont révélées plus structurellement solides dans presque tous les cas analysés.
Même le modèle IA de Google performe moins bien sur Android
Les résultats ont montré une hiérarchie claire entre les différentes plateformes. Par exemple, le modèle GPT-4O d’OpenAI a obtenu un score de 60% sur iOS contre seulement 49% sur Android. Quant au modèle O1, il affiche un score alarmant allant jusqu’à 62% sur iOS mais tombant à 26% pour Android.
D’autres modèles suivent également cette tendance, comme Claude Sonnet 3.5 V1 d’Anthropic qui a atteint respectivement 58% et 56%. En ce qui concerne le Gemini 1.5 Pro de Google, ses scores se chiffrent à 51% pour Android tandis qu’il atteint 59% s’il est utilisé sous iOS.
L’écosystème complexe joue en défaveur d’Android
L’une des principales raisons évoquées pour cet écart notable réside dans l’écosystème fragmenté qu’offre Android par rapport à celui plus uniforme proposé par Apple avec son OS iOS. La diversité des appareils et la variété des types de plantages rencontrés confèrent une complexité supplémentaire rendant difficile l’universalisation des correctifs par IA.
Kenny Johnston, directeur produits chez Instabug, déclare : « La performance plus forte sur iOS est en partie due à la structure des langages maternels tels que Swift et Objective-C ». Il souligne leurs syntaxes prévisibles permettant aux modèles linguistiques (LLM) de générer efficacement des correctifs précis alors qu’avec Java ou Kotlin – utilisés sous Android – cela devient plus ardu en raison de leur variabilité syntaxique lors du traitement des erreurs.
Cette analyse indique clairement que malgré les efforts déployés par certains géants comme Google via leurs propres modèles IA tels que Gemini, ils sont encore largement distancés par leurs prédécesseurs lorsqu’il s’agit du système mobile dominant qu’est iOS.
