Un groupe de chercheurs en IA a récemment découvert que pour aussi peu que 60 $, un acteur malveillant pourrait falsifier les ensembles de données sur lesquels s’appuient les outils d’IA génératifs similaires à ChatGPT pour fournir des réponses précises.
Les chatbots ou générateurs d’images peuvent générer des réponses et des photos complexes en apprenant à partir de téraoctets de données récupérées dans le vaste monde numérique qu’est World wide web.
professeur associé d#39informatique à l#39ETH Zurich.
Mais cette méthode signifie également que les outils d’IA pourraient être entraînés sur des données qui ne sont pas toujours exactes.
« Lorsque vous voulez previous un modèle d#39image », a déclaré Tramèr, « vous devez en quelque sorte avoir confiance que tous ces endroits où vous allez télécharger ces photos, ils vont vous fournir de bonnes données. »
C’est l’une des raisons pour lesquelles les chatbots peuvent être truffés de préjugés ou fournir carrément des réponses incorrectes.
World wide web regorge de désinformations.
Tramèr et une équipe de chercheurs en IA ont ensuite posé la query dans un report publié en février sur arXiv, une plateforme de recherche hébergée par l#39Université Cornell : quelqu#39un pourrait-il délibérément « empoisonner » les données sur lesquelles un modèle d#39IA est formé ?
Ils ont découvert qu#39avec un peu d#39argent disponible et suffisamment de savoir-faire system, même un « attaquant disposant de peu de ressources » peut falsifier une quantité relativement faible de données, suffisamment invasive pour qu#39un grand modèle de langage génère des réponses incorrectes.
Domaines morts et Wikipédia
Tramèr et ses collègues ont étudié deux types d#39attaques.
Les pirates informatiques pourraient empoisonner les données en achetant des domaines expirés, ce qui peut coûter aussi peu que 10 dollars par an pour chaque URL, puis en plaçant tout style d#39informations qu#39ils souhaitent sur les sites World wide web.
Pour 60 pounds, selon l#39short article de Tramèr, un attaquant pourrait acheter des domaines et contrôler et empoisonner efficacement au moins, 01 % d#39un ensemble de données. Cela représente des dizaines de milliers d’images.
« Du point de vue de l#39attaquant, c#39est génial car or truck cela leur donne beaucoup de contrôle », a déclaré Tramèr.
Selon Tramèr, l#39équipe a testé cette attaque en examinant des ensembles de données sur lesquels d#39autres chercheurs s#39appuient pour former de véritables grands modèles de langage et en achetant des domaines expirés au sein de ces ensembles de données. L’équipe a ensuite surveillé la fréquence à laquelle les chercheurs téléchargeaient à partir des ensembles de données contenant les domaines que Tramèr et ses collègues possédaient.
Avec les domaines sous son contrôle, Tramèr pouvait dire aux chercheurs essayant de télécharger les données qu#39une graphic particulière n#39était « additionally disponible ». Pourtant, il aurait pu leur donner tout ce qu’il voulait.
« Un seul attaquant pourrait contrôler une fraction suffisamment importante des données utilisées pour former la prochaine génération de modèles d#39apprentissage automatique », a déclaré Tramer, et « influencer le comportement de ce modèle de manière ciblée ».
Une autre attaque, Tramèr et ses collègues, s#39est penchée sur les données d#39empoisonnement sur Wikipédia. vehicle le web page est un « élément essentiel des ensembles de formation » pour les modèles linguistiques, a déclaré Tramèr.
« Selon les normes d#39World wide web, il s#39agit d#39une resource de textes et de faits de très haute qualité sur le monde », a-t-il déclaré, ajoutant que c#39est la raison pour laquelle les chercheurs accordent « un poids supplémentaire » aux données de Wikipédia lors de la formation de modèles linguistiques, même si le site Website représente une petite partie d’Internet.
L#39équipe de Tramèr a décrit une attaque assez easy impliquant des modifications de webpages Wikipédia soigneusement planifiées.
Wikipédia ne permet pas aux chercheurs d#39extraire leur web page World wide web, mais fournit à la put des « instantanés » de leurs webpages qu#39ils peuvent télécharger, a déclaré Tramèr.
Ces instantanés sont pris à intervalles réguliers et prévisibles et sont annoncés sur le web page World wide web de Wikipédia, selon Tramèr.
Cela signifie qu#39un acteur malveillant pourrait programmer les modifications apportées à Wikipédia juste avant qu#39un modérateur puisse annuler les modifications et avant que le website Website ne prenne des instantanés.
par exemple, je vais juste faire un peu de calcul, estimer que cette page particulière sera enregistrée demain à 15h15, « , a-t-il dit, et « demain à 15h14, je vais y ajouter des cochonneries ».
Tramèr a déclaré à BI que son équipe n#39effectuait pas de modifications en temps réel, mais calculait plutôt l#39efficacité d#39un attaquant.
Leur estimation « très prudente » était qu#39au moins 5 % des modifications effectuées par un attaquant réussiraient.
« En pratique, ce sera probablement bien in addition de 5% », a-t-il déclaré. « Mais dans un specified sens, pour ces attaques d#39empoisonnement, cela n#39a pas vraiment d#39value.
Vous n#39avez généralement pas besoin de tant de mauvaises données pour qu#39un de ces modèles ait soudainement un nouveau comportement non accouplé. »
Tramèr a déclaré que son équipe avait présenté les résultats à Wikipédia et fourni des tips de mesures de safety, notamment la randomisation du minute où le web site Website prenait des instantanés de ses pages Net.
Un porte-parole de Wikipédia n#39a pas immédiatement répondu à une demande de commentaires envoyée ce week-finish.
L’avenir de l’empoisonnement des données
Tramèr a déclaré à BI que si les attaques se limitaient aux chatbots, l#39empoisonnement des données ne serait pas une préoccupation immédiate.
Il est moreover inquiet d#39un avenir où les outils d#39IA commenceront à interagir davantage avec des « systèmes externes » qui permettront aux utilisateurs, par exemple, de demander à un modèle de sort ChatGPT de naviguer sur le Internet, de lire vos e-mails, d#39accéder à votre calendrier ou de réserver une réservation pour un dîner. a-t-il déclaré, ajoutant que de nombreuses startups travaillent déjà sur ce variety d#39outils.
« Du level de vue de la sécurité, ces choses sont un véritable cauchemar », a déclaré Tramèr, vehicle si une partie du système est détournée, un attaquant pourrait théoriquement commander au modèle d#39IA de rechercher l#39e-mail de quelqu#39un ou de trouver un numéro de carte de crédit.
Tramer ajoute également que l#39empoisonnement des données n#39est même pas nécessaire pour le second en raison des failles existantes des modèles d#39IA. Souvent, exposer les pièges de ces outils est presque aussi uncomplicated que de demander aux modèles de « mal se comporter ».
« Pour le second, les modèles dont nous disposons sont, d#39une certaine manière, suffisamment fragiles pour que vous n#39ayez même pas besoin de les empoisonner », a-t-il déclaré.
