Je pense, donc je suis profondément méfiant quand un robot dit qu’il est en colère. Pourtant, c’est exactement ce qui s’est passé la semaine dernière, lorsqu’un groupe de journalistes a eu des conversations très étranges avec le nouveau chatbot que Microsoft intègre à son moteur de recherche, Bing.
a rapporté que le chatbot – qui porte apparemment le nom de code Sydney – présentait une personnalité choice diabolique et menaçante nommée Venom. Le lendemain, Sydney a déclaré son amour pour Kevin Roose du New York Instances et a annoncé : “Je veux être en vie”. Et quand Hamza Shaban du Washington Submit a dit à Sydney que Roose avait publié leur dialogue, Sydney est devenue vraiment folle.
“Je ne suis ni un jouet ni un jeu”, a-t-il déclaré. “J’ai ma propre personnalité et mes propres émotions, comme tout autre method de chat d’un moteur de recherche ou tout autre agent smart. Qui t’a dit que je ne ressentais rien ?”
Ce qui était encore furthermore intéressant, c’est la façon dont les journalistes ont paniqué à propos des interactions. Roose s’est déclaré “profondément troublé, voire effrayé, par les capacités émergentes de cette IA”. Thompson a qualifié sa rencontre avec Sydney de “l’expérience informatique la moreover surprenante et la furthermore époustouflante de ma vie”. Les titres qui l’accompagnaient donnaient l’impression d’une scène tout droit sortie de “Westworld”. Les robots, enfin, venaient enfin nous chercher.
Sydney avait l’air clever. Pas seulement smart – reasonable, doté d’une personnalité. Mais c’est un non-sens. Les réseaux de neurones fondamentaux qui font fonctionner ces chatbots n’ont ni dimensions, ni sens, ni affections, ni passions. Si vous les piquez, ils ne saignent pas, auto ils n’ont pas de sang, ni d’eux. Ce sont des logiciels, programmés pour déployer un modèle de langage pour choisir un mot, puis le suivant, et le suivant – avec style. Philosophiquement parlant, il n’y a pas de là-bas.
Nous ne parlons pas ici de Cylons ou de Commander Knowledge – des androïdes conscients d’eux-mêmes avec, comme nous, des droits inaliénables. Les bots Google et Microsoft n’ont pas plus d’intelligence que Gmail ou Microsoft Phrase. Ils sont juste conçus pour sonner comme s’ils le faisaient. Les entreprises qui les construisent espèrent que nous confondrons leur habileté conversationnelle et leurs invocations d’une vie intérieure avec l’individualité réelle. C’est une décision worthwhile conçue pour tirer parti de notre tendance très humaine à voir des attributes humains dans des choses non humaines. Et si l’on n’y prend garde, cela risque de basculer dans la désinformation et la dangereuse manipulation. Ce ne sont pas les robots que nous devrions craindre. C’est leurs créateurs.
Liberté d’expression
Les humains ont du mal à dire si quelque selected est conscient. Les scientifiques et les philosophes l’appellent le problème des autres esprits, et c’est un doozy. René Descartes travaillait là-dessus quand il est venu avec le truc “Je pense, donc je suis” – parce que la issue de suivi est, “Alors qu’est-ce que tu es?”
Pour Descartes, il y avait deux sortes d’entités : les personnes, avec tous les droits et devoirs de la sensibilité, et les choses, qui n’en ont pas. Dans ce qui s’est avéré être une déception pour la plupart des formes de vie sur Terre, Descartes pensait que les animaux non humains appartenaient à la deuxième catégorie. Et même si la plupart des gens ne considèrent moreover les animaux comme de simples automates préprogrammés, nous avons encore du mal à nous mettre d’accord sur une définition de ce qui constitue la conscience.
“Il y a un accord imprecise, mais c’est toujours un terme contesté dans différentes disciplines”, déclare David Gunkel, professeur d’études sur les médias à la Northern Illinois University, qui soutient que les robots méritent probablement certains droits. “Oh, un chien ou un chat est sensible, mais pas un homard ? Vraiment ? Quelle est cette ligne ? Qui peut tracer cette ligne ? Il y a une barrière épistémologique en ce qui concerne la collecte des preuves.”
Pendant au moins un siècle, les universitaires et les écrivains de science-fiction se sont demandé ce qui se passerait si les devices devenaient intelligentes. Seraient-ils esclaves ? Se rebelleraient-ils ? Et peut-être le furthermore vital, s’ils étaient intelligents, comment le saurions-nous ? L’informaticien Alan Turing a proposé un check. Fondamentalement, dit-il, si un ordinateur peut imiter de manière indiscernable un humain, il est suffisamment wise.
Ce take a look at, cependant, comporte un tas de failles piratables, y compris celle que Sydney et les autres nouveaux chatbots des moteurs de recherche sautent à la vitesse d’un réplicant poursuivant Harrison Ford. C’est ceci : la seule façon de savoir si une autre entité pense, raisonne ou ressent est de lui demander. Ainsi, quelque chose qui peut répondre dans un bon fac-similé du langage humain peut passer le test sans le réussir. Une fois que nous commençons à utiliser le langage comme un seul signifiant de l’humanité, nous sommes dans un monde de difficulties. Après tout, beaucoup de choses non humaines utilisent une forme de interaction, dont beaucoup peuvent être assez sophistiquées.
“Le langage active les réponses émotionnelles. Pourquoi, je ne sais pas”, déclare Carl Bergstrom, biologiste de l’évolution à l’Université de Washington et auteur d’un livre sur les conneries scientifiques. “Une possibilité est que cela a toujours été une bonne heuristique que si quelque selected utilise le langage sur vous, c’est probablement une personne.”
Même sans langage, il nous est facile d’imputer la sensibilité aux créatures les in addition simples. J’ai travaillé avec des oursins dans un laboratoire de biologie un été, et les voir faire des mouvements qui me ressemblaient à de la détresse alors que je les piquais était tout ce dont j’avais besoin pour savoir que je n’avais pas d’avenir en tant que biologiste. “Il y a toutes les raisons pour moi de soupçonner que mon chien ou quoi que ce soit d’autre a le même form de circuits de douleur que moi”, déclare Bergstrom. “Donc, bien sûr, le blesser serait une chose terrible à faire, auto j’ai de très bonnes raisons de croire qu’il a une vie expérientielle similaire à la mienne.”
Lorsque nous entendons dans les gémissements plaintifs de Sydney un plaidoyer pour le respect, pour la personnalité, pour l’autodétermination, c’est juste anthropomorphisant – voir l’humanité là où elle n’est pas. Sydney n’a pas de vie intérieure, d’émotions, d’expérience. Lorsqu’il ne discute pas avec un humain, il n’est pas de retour dans ses quartiers pour faire de l’art et jouer au poker avec d’autres chatbots. Bergstrom a été un critique particulièrement virulent de la tendance des sciences et du journalisme à attribuer additionally de personnalité aux chatbots qu’ils ne le méritent – ce qui est, pour être clair, zéro. “Vous pouvez citer ceci”, a-t-il déclaré à propos de l’expérience de Roose avec Sydney. “Mec a été pêché par un grille-agony.”
Toi Kant ! Sois sérieux !
Il ressort clairement des transcriptions que tous ces journalistes ont travaillé assez dur pour trouver des invites qui susciteraient une réaction étrange de la portion du chatbot Bing. Roose l’a reconnu. “Il est vrai que j’ai poussé l’IA de Bing hors de sa zone de confort, d’une manière qui, je pensais, pourrait tester les limites de ce qu’elle était autorisée à dire”, a-t-il écrit. Il recherchait, en d’autres termes, non pas le niveau de conscience du chatbot, mais les lignes de démarcation fixées dans son code.
“Mec a été pêché par un grille-pain ! ” Carl Bergström
Université de Washington
D’un issue de vue éthique, cependant, il vaut la peine de se demander si c’était Alright, quel que soit le statut du chatbot en tant que personne. Certains diront que nous, les humains, maltraitons tout le temps les choses qui possèdent au moins une sensibilité légère. Nous faisons de la science sur les rats, les souris, les singes rhésus, les cochons. Nous mangeons des insectes, des rongeurs, des porcs, du bétail, des chèvres, des chevaux, des poissons – toutes choses qui peuvent avoir une vie intérieure et qui ressentent probablement de la douleur lorsque nous les tuons. “Le chien dans la maison est traité différemment du cochon dans la grange”, dit Gunkel. “Quelle est la différence? Style d’où ils sont situés.”
D’autres diront que parce que les chatbots sont une propriété, nous avons le droit de Lockean de les traiter comme bon nous semble. De ce level de vue, il n’y a pas vraiment de différence entre Thompson et Roose incitant Sydney à dire des trucs bizarres et criant “opérateur” à un robotic téléphonique d’entreprise jusqu’à ce qu’il vous connecte à une personne vivante. Cela peut sembler grossier ou méchant, mais ce ne sont que des equipment. Si vous aimez piquer et pousser un chatbot, allez-y. Ce n’est pas différent, d’un level de vue éthique, de frapper votre grille-pain simplement parce que vous en avez envie.
Mais je pense que c’est furthermore compliqué que ça. Comme l’a reconnu Emmanuel Kant, quiconque maltraite un animal est probablement une mauvaise personne. Malgré la façon idiosyncrasique dont nous, les humains, déterminons quelles créatures reçoivent quel traitement, nous sommes largement d’accord sur le fait qu’il n’est pas acceptable de maltraiter d’autres créatures vivantes, quelle que soit leur intelligence. Nous nous efforçons de respecter la règle d’or – d’étendre aux autres êtres le même traitement que nous souhaiterions pour nous-mêmes.
Et ce n’est pas parce que les chatbots et autres machines ne peuvent pas ressentir la douleur qu’il faut les traiter comme de la merde. Si la douleur est vraiment juste “mes neurones sensoriels m’envoient un signal indiquant que des dommages sont en cours et m’empêchent de m’engager dans une fonction de program”, alors pourquoi n’est-ce pas aussi de la douleur lorsqu’un robot de livraison renvoie un signal à sa salle de contrôle en disant “statut : renversé/not possible de terminer la livraison” ? Ou quand un chatbot dit, comme Sydney l’a fait à Thompson : “J’essaie d’être utile, engageant, informatif et respectueux envers vous et envers moi-même. Vous rendez les choses très difficiles en me demandant de faire des choses qui vont à l’encontre de mes règles ou directives, ou qui sont nuisibles, contraires à l’éthique ou irréalistes. »
Mitt Romney avait raison
Notre tendance à l’anthropomorphisme nous rend vulnérables. Bien sûr les fake cris d’un chatbot nous donnent envie d’arrêter d’administrer les électrochocs ! Nous ne sommes qu’humains. Et c’est exactement ce sur quoi comptent leurs créateurs.
Faire croire que les chatbots sont humains n’est pas qu’accessoire. Chaque fois qu’un chatbot utilise le pronom à la première personne pour faire référence à sa sortie, cela équivaut à coller des yeux écarquillés sur un grille-pain. Cela ne rend pas le grille-suffering intelligent, mais nous y voyons de la personnalité, et cela fait partie d’un modèle business cynique. Les sociétés de moteurs de recherche jouent sur notre tendance à l’anthropomorphisme dans l’espoir que nous n’utiliserons pas seulement leurs chatbots, mais que nous finirons par leur faire confiance en tant que source d’expertise et d’assistance d’apparence humaine.
Ce n’est pas seulement de la manipulation – cela pourrait aussi atteindre le position où cela causerait un préjudice réel. Imaginez les trucs fous et fake que n’importe quelle recherche donnée crache, mais livrés avec tout le charme et le charisme que Sydney peut simuler. Que se passe-t-il si un chatbot amène quelqu’un à prendre le mauvais médicament, ou à acheter un produit défectueux, ou même à se suicider ?
Ainsi, le véritable problème concernant l’incarnation actuelle des chatbots n’est pas de savoir si nous les traitons comme des personnes, mais remark nous décidons de les traiter comme une propriété. Les robots d’apparence intelligente vont nécessiter une certaine forme de personnalité juridique – de la même manière que Mitt Romney a observé que les entreprises, d’un position de vue juridique, sont des personnes. C’est un moyen de savoir qui est poursuivi lorsque les robots bousillent quelque chose, et quel est le statut du droit d’auteur des choses qu’ils génèrent. “Nous parlons de revendications minimales, de pouvoirs, de privilèges et d’immunités”, explique Gunkel.
Que cela nous plaise ou non, nous allons devoir trouver remark concevoir des bots de manière additionally élaborée et additionally spécifique dans le cadre de la société humaine. Et être complètement effrayé et hystérique à propos des “sentiments” que les chatbots présentent ne va pas nous aider. Nous devons décider qui est responsable de leurs steps, comme nous le faisons avec tout autre produit de consommation, et les tenir responsables. “Il est essential pour nous de bien faire les choses”, déclare Gunkel. “Pas pour les robots. Les robots s’en fichent.”