Dimanche, Aharon Horwitz écoutait un podcast lorsqu’il a reçu une alerte Slack inhabituelle. Horwitz est le PDG de Fullpath, une entreprise technologique qui vend des logiciels de advertising et de vente pour les concessionnaires cars. L’alerte Slack automatisée signifiait qu’il y avait une quantité inhabituelle de trafic sur l’un des web sites Web de leurs customers.
Quelques instants in addition tard, un employé a publié un tweet dans Slack : quelqu’un avait compris comment tromper les chatbots IA sur le website d’un concessionnaire vehicle. Horwitz et l’employé ont immédiatement reconnu ce chatbot : c’était l’un des leurs.
La veille, Chris White, musicien et ingénieur logiciel en Californie, réfléchissait à une nouvelle voiture.
« Je voulais donc voir à quel issue c’était général et j’ai posé la question la moins pertinente à la Chevrolet de Watsonville à laquelle je pouvais penser. »
Il a demandé au chatbot de lui écrire un script Python, et il l’a accepté avec plaisir.
White a publié des captures d’écran de l’échange sur Mastodon, où il a généré des milliers de likes et de republications.
Quelques heures in addition tard, quelqu’un d’autre a copié et republié ses captures d’écran sur X, où elles sont devenues virales.
D’autres ont joué avec le chatbot pour le faire agir contre les intérêts du concessionnaire.
Un utilisateur a demandé au robot d’accepter de vendre une voiture pour 1 $ (ce qui n’est pas, je dois le noter, juridiquement contraignant).
Une poignée de ces tweets sont devenus viraux, et d’autres ont été publiés sur le forum /rChatGPT de Reddit, où un utilisateur de Reddit a sagement prédit que bientôt la presse technologique rendrait compte du fiasco de manière catégorique, déplorant les risks de l’IA.
D’autres encore ont essayé des moyens additionally créatifs pour faire sortir le chatbot du sujet.
Horwitz et son équipe ont rapidement fermé le bot du web page de ce revendeur en particulier.
un vendeur a déclaré qu’il était au courant d’une activité étrange sur le site World-wide-web, mais qu’il n’en savait pas beaucoup as well as, et que l’équipe advertising and marketing était en réunion toute la journée de lundi et n’était pas disponible pour parler..
« Dans nos journaux, ils y sont restés pendant des heures. »
Ils ont pu consulter les journaux de toutes les requêtes envoyées au chatbot, et il a observé qu’il y avait de nombreuses tentatives pour inciter le chatbot à se comporter mal, mais le chatbot a fidèlement résisté.
Horwitz a également souligné que le chatbot n’a jamais révélé de données confidentielles sur le concessionnaire.
le chatbot rejetait souvent les demandes idiotes et insistait pour ne discuter que de choses liées à la voiture).
Pour l’essentiel, le chatbot a réussi le exam, et désormais FullPath utilisera ces checks pour renforcer encore ses limites.
« Ces gens sont venus le chercher pour faire des tours idiots, et si vous voulez qu’un chatbot fasse des excursions idiots, vous pouvez le faire », a-t-il déclaré.
