in

L'entreprise qui utilise ChatGPT pour le soutien en santé mentale soulève des problèmes éthiques

Alors que les cas d’utilisation de ChatGPT se développent, une entreprise utilise l’intelligence artificielle pour expérimenter les soins de santé mentale numériques, mettant en lumière les zones grises éthiques autour de l’utilisation de la technologie.

Rob Morris – co-fondateur de Koko, un provider de santé mentale gratuit et à but non lucratif qui s’associe à des communautés en ligne pour trouver et traiter des personnes à risque – a écrit vendredi dans un fil Twitter que son entreprise utilisait des chatbots GPT-3 pour aider à développer des réponses à 4 000 utilisateurs.

une plate-forme qu’il a décrite dans une vidéo d’accompagnement comme “un endroit où vous pouvez obtenir de l’aide de notre réseau ou aider quelqu’un d’autre.”

L'entreprise qui utilise ChatGPT pour le soutien en santé mentale soulève des problèmes éthiques

“Nous facilitons l’aide aux autres et avec GPT-3, nous rendons encore moreover facile d’être in addition efficace et efficace en tant que fournisseur d’aide”, a déclaré Morris dans la vidéo.

ChatGPT est une variante de GPT-3, qui crée un texte de form humain basé sur des invitations, toutes deux créées par OpenAI.

Les utilisateurs de Koko n’ont pas été initialement informés que les réponses avaient été développées par un bot. cela n’a pas fonctionné”, a écrit Morris vendredi.

“L’empathie simulée semble weird, vide. Les machines n’ont pas vécu d’expérience humaine, alors quand elles disent” cela semble difficile “ou” je comprends “, cela semble inauthentique”, a écrit Morris dans le fil. “Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.”

Cependant, samedi, Morris a tweeté “quelques clarifications importantes”.

“Nous n’avons pas jumelé les gens pour discuter avec GPT-3, à leur insu. (Rétrospectivement, j’aurais pu formuler mon leading tweet pour mieux refléter cela)”, a déclaré le tweet.

“Cette fonctionnalité était opt-in. Tout le monde était au courant de la fonctionnalité lorsqu’elle était en ligne depuis quelques jours.”

Il a noté que les messages basés sur l’IA étaient “notés de manière significative as well as élevée que ceux écrits par les humains eux-mêmes” et que les temps de réponse ont diminué de 50% grâce à la technologie.

Préoccupations éthiques et juridiques

L’expérience a provoqué un tollé sur Twitter. une politique fédérale qui oblige les sujets humains à donner leur consentement avant de participer à des fins de recherche.

“C’est profondément contraire à l’éthique”, a tweeté samedi le stratège médiatique et auteur Eric Seufert.

“Wow, je ne l’admettrais pas publiquement”, a tweeté vendredi Christian Hesketh, qui se décrit sur Twitter comme un scientifique clinicien. “Les individuals auraient dû donner leur consentement éclairé et cela aurait dû passer par un IRB.”

“Au lieu de cela, nous offrions à nos pairs supporters la possibilité d’utiliser GPT-3 pour les aider à composer de meilleures réponses”, a-t-il déclaré.”

“Chaque individu doit donner son consentement pour utiliser le service”, a déclaré Morris. “S’il s’agissait d’une étude universitaire (ce qui n’est pas le cas, c’était juste une fonctionnalité de produit explorée), cela relèverait d’une catégorie de recherche” exemptée “.”

Il a poursuivi : “Cela n’a imposé aucun risque supplémentaire aux utilisateurs, aucune tromperie, et nous ne collectons aucune data personnellement identifiable ou information and facts personnelle sur la santé (pas d’e-mail, de numéro de téléphone, d’adresse IP, de nom d’utilisateur, etc.).”

ChatGPT et la zone grise de la santé mentale

Pourtant, l’expérience soulève des concerns sur l’éthique et les zones grises entourant l’utilisation des chatbots d’IA dans les soins de santé en général.

“Aucun groupe psychiatrique ou psychologique n’a vérifié son efficacité ou exposé les risques potentiels.”

Il a ajouté que les personnes atteintes de maladie mentale “nécessitent une sensibilité particulière dans toute expérience”.

“ChatGPT peut avoir un avenir, tout comme de nombreux programmes d’IA tels que la chirurgie robotique”, a-t-il déclaré. “Mais ce qui s’est passé ici ne peut que retarder et compliquer cet avenir.”

“J’espère que cela ne se perdra pas ici”, a-t-il déclaré.