Q d’Amazon, le chatbot IA pour les travailleurs que sa division cloud a dévoilé mardi, semble avoir quelques problèmes.
Q divulgue des informations confidentielles – y compris l’emplacement des centres de données AWS, les programmes de réduction internes et même des fonctionnalités inédites – by way of ses canaux de messagerie internes, comme Slack, et ses systèmes de billetterie, selon des communications internes divulguées partagées avec Platformer, une publication system.
Le robot « éprouve également de graves hallucinations », phénomène dans lequel l’IA crache avec confiance des inexactitudes comme s’il s’agissait de faits.
Dans le cas de Q, l’entreprise a également distribué de mauvais conseils juridiques qui pourraient « potentiellement provoquer des incidents cardiaques dans le domaine juridique », comme l’a dit un employé sur le canal Slack de l’entreprise, selon Platformer. Le robot a également renvoyé des réponses nuisibles ou inappropriées qui pourraient mettre en threat les comptes customers.
Les hallucinations de Q sont si « larges et flagrantes », comme les a décrites un responsable d’AWS, que le responsable a même averti les employés de ne pas en discuter sur les chaînes publiques Slack, selon Platformer.
Il n’est pas unusual que les chatbots d’IA générative échouent.
Peu de temps après que Microsoft a lancé son assistant d’IA générative axé sur le consommateur, Sydney, celui-ci est devenu viral avec ses propres hallucinations. Mais les transgressions de Q sont d’autant furthermore ironiques que le bot a été conçu pour être une choice moreover sûre et moreover sécurisée sur laquelle les entreprises pourraient compter.
Q a été conçu pour aider les employés à générer des e-mails, à résumer des rapports, à dépanner, à rechercher et à coder. Il a également été conçu pour leur fournir des réponses utiles, mais uniquement liées au contenu auquel « chaque utilisateur est autorisé à accéder », a déclaré Amazon dans un article de blog sur Q.
