Au cours de la dernière décennie, l’IA a imprégné presque tous les domaines scientifiques : des modèles d’apprentissage automatique ont été utilisés pour prédire les structures des protéines, estimer la fraction de la forêt amazonienne perdue à induce de la déforestation et même classer les galaxies lointaines qui pourraient abriter des exoplanètes. Mais si l’IA peut être utilisée pour accélérer la découverte scientifique – en aidant les chercheurs à faire des prédictions sur des phénomènes qui peuvent être difficiles ou coûteux à étudier dans le monde réel – elle peut également induire les scientifiques en erreur. De la même manière que les chatbots « hallucinent » ou inventent parfois des choses, les modèles d’apprentissage automatique peuvent parfois présenter des résultats trompeurs, voire carrément fake. Dans un posting publié en ligne aujourd’hui (jeudi 9 novembre) dans Science, des chercheurs de l’Université de Californie à Berkeley présentent une nouvelle system statistique permettant d’utiliser en toute sécurité les prédictions obtenues à partir de modèles d’apprentissage automatique pour tester des hypothèses scientifiques. La technique, appelée inférence basée sur la prédiction (PPI), utilise une petite quantité de données réelles pour corriger les résultats de grands modèles généraux, tels qu’AlphaFold, qui prédit les structures des protéines, dans le contexte de concerns scientifiques spécifiques. sans savoir dans quel cas vous vous trouvez, vous pouvez obtenir de mauvaises réponses », a déclaré l’auteur de l’étude Michael Jordan, professeur émérite Pehong Chen de génie électrique, d’informatique et de statistiques à l’UC Berkeley. « Avec PPI, vous pouvez utiliser le modèle, mais corriger les erreurs possibles, même si vous ne connaissez pas la nature de ces erreurs au départ. »
Le risque de biais cachés
Lorsque les scientifiques mènent des expériences, ils ne recherchent pas seulement une réponse special : ils veulent obtenir une gamme de réponses plausibles. Cela se fait en calculant un « intervalle de confiance » qui, dans le cas le plus basic, peut être trouvé en répétant une expérience plusieurs fois et en observant remark les résultats varient. Dans la plupart des études scientifiques, un intervalle de confiance fait généralement référence à une statistique récapitulative ou combinée, et non à des factors de données individuels. Malheureusement, les systèmes d’apprentissage automatique se concentrent sur des points de données individuels et ne fournissent donc pas aux scientifiques les types d’évaluations d’incertitude qui les intéressent. Par exemple, AlphaFold prédit la composition d’une seule protéine, mais il ne fournit pas de notion de confiance pour cette composition, ni un moyen d’obtenir des intervalles de confiance faisant référence aux propriétés générales des protéines. Les scientifiques pourraient être tentés d’utiliser les prédictions d’AlphaFold comme s’il s’agissait de données pour calculer des intervalles de confiance classiques, ignorant le fait que ces prédictions ne sont pas des données. Le problème de cette approche est que les systèmes d’apprentissage automatique comportent de nombreux biais cachés qui peuvent fausser les résultats. Ces biais proviennent en partie des données sur lesquelles ils sont formés, qui sont généralement des recherches scientifiques existantes qui n’ont peut-être pas eu le même objectif que l’étude actuelle. « En effet, dans les problèmes scientifiques, nous nous intéressons souvent aux phénomènes qui se situent à la frontière entre le connu et l’inconnu », a déclaré Jordan. « Très souvent, il n’y a pas beaucoup de données du passé qui se situent à cette limite, ce qui rend les modèles d’IA génératifs encore furthermore susceptibles d' »halluciner », produisant des résultats irréalistes. »
Calculer des intervalles de confiance valides
PPI permet aux scientifiques d’incorporer les prédictions de modèles comme AlphaFold sans faire d’hypothèses sur la façon dont le modèle a été construit ou sur les données sur lesquelles il a été formé. Pour ce faire, PPI nécessite une petite quantité de données impartiales, par rapport à l’hypothèse spécifique étudiée, associées à des prédictions d’apprentissage automatique correspondant à ces données. En réunissant ces deux resources de preuves, PPI est able de former des intervalles de confiance valides. Par exemple, l’équipe de recherche a appliqué la procedure PPI à des algorithmes capables d’identifier les zones de déforestation en Amazonie à l’aide d’images satellite. Ces modèles étaient globalement précis lorsqu’ils étaient testés individuellement sur des régions de la forêt cependant, lorsque ces évaluations ont été combinées pour estimer la déforestation dans l’ensemble de l’Amazonie, les intervalles de confiance sont devenus très asymétriques. Cela est probablement dû au fait que le modèle a eu du mal à reconnaître certains modèles furthermore récents de déforestation. Avec PPI, l’équipe a pu corriger le biais de l’intervalle de confiance en utilisant un petit nombre de régions de déforestation étiquetées par l’homme. L’équipe a également montré remark la procedure peut être appliquée à diverses autres recherches, notamment sur des queries sur le repliement des protéines, la classification des galaxies, les niveaux d’expression des gènes, le comptage du plancton et la relation entre le revenu et l’assurance maladie privée. « Il n’y a vraiment aucune limite quant au form de issues auxquelles cette approche peut être appliquée », a déclaré Jordan. « Nous pensons que le PPI est un élément indispensable de la science moderne collaborative, à forte intensité de données et de modèles. » Les autres co-auteurs incluent Anastasios N. Angelopoulos, Stephen Bates, Clara Fannjiang et Tijana Zrnic de l’UC Berkeley. Cette recherche a été soutenue par l’Office of Naval Investigate (N00014-21-1-2840) et la Countrywide Science Foundation.
