La semaine difficile d'OpenAI s'est transformée en un mois difficile – et cela ne semble pas être un problème que le PDG de l'entreprise, Sam Altman, puisse facilement résoudre.
Dans le dernier développement de la saga OpenAI-is-a-disaster, un groupe d'employés actuels et anciens d'OpenAI a exprimé publiquement ses inquiétudes quant aux motivations financières de l'entreprise et à son engagement en faveur d'une IA responsable. Dans un rapport du New York Times publié mardi, ils décrivent une culture de fausses promesses en matière de sécurité.
« Le monde n'est pas prêt, et nous ne sommes pas prêts », a écrit Daniel Kokotajlo, ancien chercheur d'OpenAI, dans un e-mail annonçant sa démission, selon le Times. « Je crains que nous nous précipitions malgré tout et que nous rationalisions nos actions. »
Mardi également, les lanceurs d’alerte, ainsi que d’autres initiés de l’IA, ont publié une lettre ouverte exigeant un changement dans l’industrie. Le groupe appelle les entreprises d’IA à s’engager dans une culture de critique ouverte et à promettre de ne pas exercer de représailles contre ceux qui expriment leurs inquiétudes.
Bien que la lettre ne soit pas spécifiquement adressée à OpenAI, il s'agit d'un sous-tweet assez clair et d'un autre développement préjudiciable pour une entreprise qui a reçu plus qu'assez de coups au cours des deux dernières semaines.
Dans une déclaration à Business Insider, un porte-parole d'OpenAI a réitéré l'engagement de l'entreprise en faveur de la sécurité, en soulignant une « ligne d'assistance téléphonique anonyme pour l'intégrité » permettant aux employés d'exprimer leurs préoccupations et au comité de sûreté et de sécurité de l'entreprise.
« Nous sommes fiers de notre expérience en matière de fourniture des systèmes d'IA les plus performants et les plus sûrs et croyons en notre approche scientifique pour gérer les risques », ont-ils déclaré par courrier électronique. « Nous convenons qu'un débat rigoureux est crucial étant donné l'importance de cette technologie et nous continuerons à collaborer avec les gouvernements, la société civile et d'autres communautés à travers le monde. »
La sécurité deuxième (ou troisième)
Un thème commun des plaintes est que, chez OpenAI, la sécurité n'est pas la priorité : la croissance et les profits le sont.
En 2019, l'entreprise est passée d'une organisation à but non lucratif dédiée aux technologies sûres à une organisation à « bénéfices plafonnés » d'une valeur de 86 milliards de dollars. Et maintenant, Altman envisage d’en faire un vieux véhicule à but lucratif du capitalisme.
Cela a placé la sécurité plus bas sur la liste des priorités, selon les anciens membres du conseil d'administration et les employés.
« Sur la base de notre expérience, nous pensons que l'autonomie gouvernementale ne peut pas résister de manière fiable à la pression des incitations au profit », ont écrit les anciennes membres du conseil d'administration Helen Toner et Tasha McCauley dans un article d'Economist le mois dernier qui appelait à une surveillance externe des entreprises d'IA. Toner et McCauley ont voté pour l'éviction d'Altman l'année dernière. (Dans un éditorial en réponse, les membres actuels du conseil d'administration d'OpenAI, Bret Taylor et Larry Summers, ont défendu Altman et les normes de sécurité de l'entreprise.)
Ces incitations au profit ont placé la croissance au premier plan, disent certains initiés, avec OpenAI se battant contre d'autres sociétés d'intelligence artificielle pour créer des formes plus avancées de technologie – et commercialisant ces produits avant que certaines personnes pensent qu'ils sont prêts à être mis sous les projecteurs.
Selon une interview accordée par Toner la semaine dernière, Altman mentait régulièrement et dissimulait des informations au conseil d'administration, y compris celles concernant les processus de sécurité. Le conseil d'administration n'était même pas au courant de la sortie de ChatGPT en novembre 2023 – et a découvert qu'il avait été mis en ligne sur Twitter, a-t-elle déclaré. (La société n'a pas explicitement nié cela mais, dans un communiqué, elle s'est déclarée « déçue que Mme Toner continue de revenir sur ces questions. »)
L'ancien chercheur Kokotajlo a déclaré au Times que Microsoft avait commencé à tester Bing avec une version inédite de GPT, une décision que le comité de sécurité d'OpenAI n'avait pas approuvée. (Microsoft a nié que cela se soit produit, selon le New York Times.)
Ces préoccupations reflètent celles de Jan Leike, récemment décédé, qui dirigeait l'équipe de superalignement de l'entreprise avec le scientifique en chef Ilya Sutskever, un autre transfuge récent. L’équipe, dédiée à l’étude des risques que la superintelligence de l’IA fait peser sur l’humanité, a connu un certain nombre de départs au cours des derniers mois. L'entreprise a été dissoute après le départ de ses dirigeants, mais l'entreprise a depuis formé un nouveau comité de sécurité.
« Au cours des dernières années, la culture et les processus de sécurité ont cédé le pas aux produits brillants », a écrit Leike dans une série de publications sur les réseaux sociaux à l'occasion de son départ. « Je suis en désaccord avec les dirigeants d'OpenAI sur les priorités fondamentales de l'entreprise depuis un certain temps, jusqu'à ce que nous atteignions finalement un point de rupture. »
Ces préoccupations s’accentuent à mesure que l’entreprise se rapproche de l’intelligence artificielle générale – ou d’une technologie capable de prendre en compte tous les comportements humains. De nombreux experts affirment que l’AGI augmente la probabilité de p(doom), un terme ringard et déprimant désignant la probabilité que l’IA détruise l’humanité.
Pour parler franchement, comme l'a déclaré Stuart Russell, chercheur en IA, à BI le mois dernier : « Même les gens qui développent la technologie disent qu'il existe un risque d'extinction de l'humanité. Qu'est-ce qui leur a donné le droit de jouer à la roulette russe avec les enfants de tout le monde ?
Un acteur de premier plan et des NDA
Vous n'aviez probablement pas sur votre carte de bingo 2024 que Black Widow affronterait un géant de la Silicon Valley, mais nous y sommes.
Au cours des dernières semaines, l’entreprise a rencontré des ennemis improbables dont les préoccupations vont au-delà de la sécurité, notamment Scarlett Johansson.
Le mois dernier, l'acteur s'est porté avocat et a écrit une déclaration cinglante à propos d'OpenAI après le lancement d'un nouveau modèle d'IA avec une voix étrangement similaire à la sienne. Bien que la société insiste sur le fait qu'elle n'a pas cherché à se faire passer pour Johansson, les similitudes étaient indéniables, en particulier compte tenu du fait qu'Altman a tweeté « Elle » au moment de l'annonce du produit, apparemment une référence au film de Johansson de 2013 dans lequel elle joue une IA virtuelle. assistant. (Alerte spoiler : le film n'est pas vraiment un bon aperçu de la technologie.)
« J'ai été choquée, en colère et incrédule que M. Altman recherche une voix si étrangement similaire », a déclaré Johansson à propos du modèle, ajoutant qu'elle avait refusé plusieurs offres d'Altman pour fournir une voix à OpenAI.
La défense de l'entreprise était, plus ou moins, que ses dirigeants n'avaient pas communiqué correctement et avaient géré l'affaire de manière maladroite – ce qui n'est pas si réconfortant étant donné que l'entreprise utilise certaines des technologies les plus puissantes au monde.
Les choses ont empiré lorsqu'un rapport préjudiciable a été publié sur la culture d'étouffement des critiques de l'entreprise avec ses NDA restrictifs et inhabituels. Les anciens employés qui ont quitté l’entreprise sans signer de NDA pourraient perdre des capitaux propres acquis – valant des millions pour certains. Un tel accord était pratiquement inconnu dans le monde de la technologie.
« C'est de ma faute et c'est l'une des rares fois où j'ai été vraiment gêné de diriger openai ; je ne savais pas que cela se produisait, et j'aurais dû », a répondu Altman aux affirmations dans un tweet.
Mais quelques jours plus tard, il a été surpris avec un œuf sur le visage lorsqu'un rapport a été publié qui semblait indiquer qu'Altman était au courant des NDA depuis le début.
Comme Altman l’a appris, quand il pleut, il pleut à verse.
Plus de chevalier blanc
Mais la pluie de mai n’a pas apporté les fleurs de juin.
Comme beaucoup de fusées technologiques avant elle, OpenAI est synonyme de son cofondateur et PDG Sam Altman – qui, jusqu'à récemment, était considéré comme un cerveau bienveillant avec une vision d'un monde meilleur.
Mais à mesure que la perception de l’entreprise continue de se détériorer, celle de son dirigeant se dégrade également.
Plus tôt cette année, l’élite du capital-risque a commencé à se retourner contre Altman, et maintenant le public pourrait lui emboîter le pas.
L'incident de Scarlet Johansson l'a laissé paraître incompétent, l'échappatoire de la NDA l'a laissé ressembler un peu à un serpent et les problèmes de sécurité l'ont laissé ressembler à un génie maléfique.
Plus récemment, le Wall Street Journal a rapporté lundi des transactions commerciales douteuses d'Altman.
Bien qu’il ne profite pas directement d’OpenAI – il ne possède aucune participation dans l’entreprise et son salaire déclaré de 65 000 $ n’est qu’une goutte d’eau par rapport à sa valeur nette d’un milliard de dollars – les conflits d’intérêts abondent. Il a des investissements personnels dans plusieurs sociétés avec lesquelles OpenAI fait affaire, a rapporté le Journal.
Il possède par exemple des actions dans Reddit, qui a récemment signé un accord avec OpenAI. Le premier client de la start-up d'énergie nucléaire Helion, dans laquelle Altman est un investisseur majeur, était Microsoft, le principal partenaire d'OpenAI. (Altman et OpenAI ont déclaré qu'il s'était récusé de ces accords.)
Face au déluge de couverture médiatique préjudiciable, l'entreprise et son dirigeant ont tenté de limiter les dégâts : Altman a annoncé qu'il signait le Giving Pledge, une promesse de donner la majeure partie de sa richesse, et l'entreprise aurait conclu un accord majeur avec Pomme.
Mais quelques nouvelles positives ne suffiront pas à nettoyer le désordre auquel Altman est confronté. Il est temps pour lui de prendre un seau et une vadrouille et de se mettre au travail
