Xavier Boyer
Les IA formées uniquement sur d’autres IA finiront par se transformer en charabia, selon les authorities en apprentissage automatique. Un auteur a comparé l’effet à la pollution en disant : « nous sommes sur le stage de remplir Internet de blabla ». Cela signifie que la development à l’IA en grattant le Internet deviendra de moins en moins efficace, ont-ils déclaré..
Alors que de additionally en additionally de contenu généré par l’IA est publié en ligne, les futures IA formées sur ce matériel finiront par se transformer en charabia, ont prédit les authorities en apprentissage automatique.
Dans un cas, une IA de neuvième génération a fini par bavarder sur les lièvres alors que le matériel supply d’origine concernait l’architecture médiévale.
Les calculs montrent que “en quelques générations, le texte devient un déchet”, a écrit l’un des auteurs, le professeur Ross Anderson de l’Université de Cambridge, dans un site sur les résultats. Les photos aussi perdent en intelligibilité, disaient-ils.
Les scientifiques – dont l’article n’a pas encore été évalué par des pairs – l’appellent “l’effondrement du modèle”.
On considère généralement que les grands modèles de langage (LLM) comme ChatGPT et OpenAI ont été formés sur de grandes quantités de données extraites d’Internet – qui étaient, bien sûr, principalement générées par l’homme jusqu’à récemment.
Mais à mesure que notre utilisation de ces outils se développe, le contenu généré par l’IA est ajouté en masse au pool de données en ligne à partir duquel les futurs LLM apprendront.
Au fil des générations d’entraînement, cela signifie que les erreurs et les exemples d’absurdités vont se multiplier, rendant extremely hard pour les IA ultérieures de faire la distinction entre les faits et la fiction, ont déclaré les scientifiques. Les IA “commencent à mal interpréter ce qu’elles croient être réel, en renforçant leurs propres croyances”, ont-ils écrit.
Anderson a utilisé les œuvres de Mozart et de son contemporain moins talentueux, Antonio Salieri, pour illustrer le problème.
“Si vous entraînez un modèle musical sur Mozart, vous pouvez vous attendre à un résultat qui ressemble un peu à Mozart mais sans l’éclat – appelons-le” Salieri “”, a-t-il écrit. “Et si Salieri forme maintenant la prochaine génération, et ainsi de suite, à quoi ressemblera la cinquième ou la sixième génération?”
Les événements improbables sont de moins en moins susceptibles de se refléter dans sa sortie, réduisant ce que la prochaine IA – formée sur cette sortie – comprend comme étant doable.
Dans un exemple donné dans l’article, un texte généré par l’homme sur l’architecture médiévale a été alimenté par un modèle de langage d’IA, dont la sortie a ensuite été utilisée pour previous les prochaines générations d’IA.
de lièvres à queue jaune @- “
Anderson l’a comparé à une air pollution significant, écrivant: “Tout comme nous avons jonché les océans de déchets plastiques et rempli l’atmosphère de dioxyde de carbone, nous sommes sur le position de remplir Web de blah.”
Le contenu généré par l’IA trouve déjà son chemin en ligne à grande échelle. En mai, le chien de garde de la désinformation en ligne NewsGuard a averti qu’il avait trouvé 49 sites d’information qui semblaient être entièrement écrits par l’IA.
Et les agences de internet marketing et de relations publiques distribuent de in addition en as well as leur copie aux chatbots – éliminant les écrivains humains d’un emploi, comme l’a rapporté le Washington Submit.
Mais, à la suite des découvertes de Shumailov et Anderson, les écrivains humains qui espèrent ne pas être battus par l’IA ne devraient pas encore faire sauter le Champagne.
Il n’y a rien dans les données générées par l’homme qui soit absolument essentiel à la development des IA, a déclaré Shumailov – la raison pour laquelle elles sont utiles est en raison de la quantité de variants naturelles, d’erreurs et de résultats improbables que notre langage produit, a déclaré Shumailov.
“Donc, les humains vont certainement aider”, a-t-il déclaré. “En même temps, cela ne veut pas dire que les données humaines sont une grande exigence.”
