Le duo qui travaille pour assurer la sécurité de l'IA pour l'humanité vient de quitter OpenAI

Il est trop tôt pour dire ce que signifient les départs majeurs chez OpenAI pour l'entreprise, ou si Sam Altman envisage de remplacer les personnes occupant ces postes par de nouveaux collaborateurs. Mais ce n’est pas un grand jour pour les pessimistes de l’IA.

Le cofondateur d'OpenAI, Ilya Sutskever, scientifique en chef de l'entreprise, a déclaré mardi sur X qu'il “avait pris la décision de quitter OpenAI”. Qualifiant “un honneur et un privilège d'avoir travaillé ensemble” avec Altman et son équipe, Sutskever a renoncé à son rôle, se disant “confiant qu'OpenAI construira une AGI à la fois sûre et bénéfique”.

Le départ le additionally brutal est venu de Jan Leike, un autre haut dirigeant d'OpenAI. Mardi soir, Leike a publié une affirmation brutale en deux mots de sa sortie d'OpenAI sur X : “J'ai démissionné.”

Leike et Sutskever ont dirigé l'équipe de superalignement d'OpenAI, qui a connu un certain nombre d'autres départs ces derniers mois.

Le duo qui travaille pour assurer la sécurité de l'IA pour l'humanité vient de quitter OpenAI

“Nous avons besoin de percées scientifiques et techniques pour diriger et contrôler les systèmes d'IA beaucoup furthermore intelligemment que nous”, a déclaré OpenAI à propos du superalignement dans un report du 5 juillet 2023 sur son web page World-wide-web. “Pour résoudre ce problème d'ici quatre ans, nous lançons une nouvelle équipe, codirigée par Ilya Sutskever et Jan Leike, et consacrons 20 % des calculs que nous avons obtenus jusqu'à présent à cet effort and hard work.”

Il s’ensuit qu’une partie du travail du duo consistait, selon les mots d’OpenAI, à « garantir que les systèmes d’IA beaucoup moreover intelligents que les humains suivent l’intention humaine ».

Et le fait qu’il n’y ait pas encore de tels contrôles est un problème reconnu par OpenAI, selon son posting de juillet 2023.

#39OpenAI. “Mais les humains ne seront pas capables de superviser de manière fiable des systèmes d'IA beaucoup additionally intelligents que nous, et nos procedures d'alignement actuelles ne pourront donc pas s'adapter à la superintelligence. Nous avons besoin de nouvelles avancées scientifiques et tactics.”

Leike – qui a travaillé chez DeepMind de Google avant son travail chez OpenAI – avait de grandes aspirations pour protéger les humains de la superintelligence que nous avons créée.

“C'est comme si nous avions ce problème difficile dont nous parlions depuis des années et des années, et maintenant nous avons une réelle opportunity de le résoudre”, a déclaré Leike dans un épisode d'août 2023 du podcast “80,000 Several hours”.

Sur son Substack, Leike a expliqué remark le problème d'alignement (lorsque les machines n'agissent pas conformément aux intentions des humains) peut être résolu et ce qui est nécessaire pour le résoudre.

“Peut-être qu'une remedy une fois pour toutes au problème d'alignement se trouve dans l'espace des problèmes que les humains peuvent résoudre. Mais peut-être pas”, a écrit Leike en mars 2022. “En essayant de résoudre l'ensemble du problème, nous pourrions essayer pour obtenir quelque selected qui n'est pas à notre portée. Au lieu de cela, nous pouvons poursuivre un objectif moins ambitieux qui peut finalement nous conduire à une alternative, un produit small viable (MVP) pour l'alignement  : construire un système d'IA suffisamment aligné qui accélère la recherche d'alignement. pour aligner des systèmes d'IA plus performants.

envoyées en dehors des heures normales de bureau.

[sharethis-inline-buttons]