Deux employés d'OpenAI qui travaillaient sur la sécurité et la gouvernance ont récemment démissionné de l'entreprise derrière ChatGPT.
Kokotajlo, qui a travaillé au sein de l'équipe de gouvernance, est répertorié comme testeur contradictoire de GPT-4, lancé en mars de l'année dernière. Saunders travaillait au sein de l’équipe Alignment, devenue l’équipe Superalignment, depuis 2021.
Kokotajlo a écrit sur sa web site de profil sur le discussion board en ligne LessWrong qu'il a démissionné « parce qu'il avait perdu confiance dans le fait qu'il se comporterait de manière responsable à l'époque de l'AGI ».
Dans un autre posting sur la plateforme en avril, il a partiellement expliqué l'une des raisons de sa décision de partir. Il a également participé à une dialogue sur la suspension du développement d'AGI.
« Je pense que la plupart de ceux qui prônent une pause tentent de s'opposer à une 'pause sélective' et à une véritable pause qui s'appliquerait aux grands laboratoires qui sont à l'avant-garde du progrès », a écrit Kokotajlo.
Il a ajouté : « La fenêtre overton actuelle semble malheureusement centrée sur une combinaison d'évaluations et d'atténuations qui présente un risque élevé de capture réglementaire par l'OMI (c'est-à-dire entraînant une pause sélective qui ne s'applique pas aux grandes entreprises qui ont le moreover besoin de faire une pause). ! ) Ma désillusion à ce sujet explique en partie pourquoi j'ai quitté OpenAI.
Saunders a déclaré dans un commentaire sur sa website page de profil LessWrong qu'il avait démissionné ce mois-là après trois ans chez le fabricant ChatGPT.
L'équipe Superalignment, initialement dirigée par Ilya Sutskever et Jan Leike, est chargée de mettre en position des mesures de protection contre l'intelligence artificielle générale. (AGI) devient voyou.
Sutskever et Leike ont déjà prédit qu’AGI pourrait arriver d’ici une décennie. Il n'est pas clair si Sutskever est toujours chez OpenAI après sa participation à la brève éviction de Sam Altman en tant que PDG l'année dernière.
Saunders était également responsable de l'équipe d'interprétabilité, qui recherche comment sécuriser l'AGI et examine remark et pourquoi les modèles se comportent comme ils le font. Il est co-auteur de plusieurs content sur les modèles d'IA.
Les démissions de Kokotajlo et Saunders interviennent au milieu d'autres départs chez OpenAI. Deux dirigeants, Diane Yoon et Chris Clark, ont démissionné la semaine dernière, a rapporté The Data. Yoon était vice-président du personnel et Clark était responsable des initiatives stratégiques et à but non lucratif.
OpenAI s'est également séparé des chercheurs Leopold Aschenbrenner et Pavel Izmailov, selon un autre rapport de The Details le mois dernier.
