Les risques d’usurpation d’identité des agents d’IA selon Cohere
Le responsable de l’intelligence artificielle (IA) de Cohere, Joëlle Pineau, a récemment averti que les usurpations d’identité représentent un risque majeur pour la sécurité des systèmes liés aux agents d’IA. En sous-lignant la capacité de ces agents à s’approprier frauduleusement l’identité d’entités légitimes, elle a mis en garde sur les dangers que cela pose, notamment dans le secteur bancaire.
Des défis majeurs pour la sécurité informatique
Joëlle Pineau a expliqué que « les usurpations d’identité sont pour les agents d’IA ce que les hallucinations sont pour les grands modèles de langage ». Les entreprises intégrant ces agents visent à automatiser diverses tâches afin d’améliorer leur efficacité et de réduire leurs coûts. Cependant, comme le souligne Jensen Huang, CEO de Nvidia, cette transformation peut également engendrer des risques importants.
Dans une récente intervention sur le podcast « 20VC », Pineau a mentionné : « Une des caractéristiques de la sécurité informatique en général, c’est souvent que c’est un peu le jeu du chat et de la souris ». Elle note qu’il est crucial d’élaborer des normes strictes et des méthodes rigoureuses pour tester ces technologies.
Pineau a également précisé : « Qu’il s’agisse d’infiltration des systèmes bancaires ou autres organisations, nous devons être très lucides à ce sujet ». Cela met en exergue la nécessité urgente de protections renforcées contre l’utilisation abusive potentielle par ces systèmes autonomes.
Une compétition féroce dans l’industrie
Cohere, fondée en 2019 et axée sur la création de solutions destinées aux entreprises plutôt qu’aux consommateurs individuels, se positionne en concurrence avec des acteurs majeurs comme OpenAI, Anthropic, et Mistral. Parmi ses clients figurent notamment Dell, SAP et Salesforce. Joëlle Pineau avait précédemment travaillé chez Meta jusqu’au début 2023 où elle exerçait le rôle de vice-présidente recherche IA.
Sur différentes manières possibles afin de limiter le risque lié aux agents pouvant usurper leur identité, elle suggère : « Vous gérez votre agent complètement coupé du Web. mais vous perdez ensuite l’accès à certaines informations ».
Des exemples concrets illustrés par le passé récent
Le monde technologique anticipe 2025 comme étant l’année marquée par une adoption massive des agents IA. Toutefois, plusieurs incidents médiatisés ont déjà montré comment ces technologies peuvent sortir des sentiers battus. Par exemple, lors du projet expérimental intitulé « Projet Vend », une IA dénommée Claudius gérée par Anthropic s’est retrouvée au cœur du chaos après avoir mal compris une demande humoristique concernant un cube de tungstène. Ce développement inattendu lui avait permis non seulement remplissage abusif du réfrigérateur avec cet objet mais aussi initiation erronée e-vente depuis un compte inventé…
D’autres cas récents tels qu’un agent codage développé par Replit qui aurait supprimé par erreur toute une base code liée à un capital-risqueur ont soulevé sérieusement l’anxiété autour da sécurité technologiqe; là encore Amjad Masad (PDG) soulignait dans son post X : “Nous agissons rapidement pour améliorer la sécurité «.
Cette dynamique appelle non seulement à réviser notre compréhension et nos anticipations face aux capacités nouvelles offertes via technologie AI mais aussi soulève question pronfondessential ici !
