Hervé Henry
Les changements transformateurs apportés par l’apprentissage en profondeur et l’intelligence artificielle s’accompagnent d’immenses coûts. Par exemple, l’algorithme ChatGPT d’OpenAI coûte au moins 100 000 $ par jour pour fonctionner. Cela pourrait être réduit avec des accélérateurs ou du matériel informatique conçu pour effectuer efficacement les opérations spécifiques de l’apprentissage en profondeur. Cependant, un tel dispositif n’est viable que s’il peut être intégré au matériel informatique traditionnel à foundation de silicium au niveau matériel.
Cela empêchait la mise en œuvre d’un accélérateur d’apprentissage en profondeur très prometteur – des matrices de mémoire électrochimique à accès aléatoire, ou ECRAM – jusqu’à ce qu’une équipe de recherche de l’Université de l’Illinois à Urbana-Champaign réalise la première intégration au niveau matériel d’ECRAM sur des transistors en silicium.. Les chercheurs, dirigés par l’étudiant diplômé Jinsong Cui et le professeur Qing Cao du Département de science et d’ingénierie des matériaux, ont récemment rapporté un dispositif ECRAM conçu et fabriqué avec des matériaux qui peuvent être déposés directement sur le silicium lors de la fabrication dans Character Electronics, réalisant le premier ECRAM pratique accélérateur d’apprentissage en profondeur.
“D’autres dispositifs ECRAM ont été fabriqués avec les nombreuses propriétés difficiles à obtenir nécessaires aux accélérateurs d’apprentissage en profondeur, mais le nôtre est le leading à atteindre toutes ces propriétés et à être intégré au silicium sans problèmes de compatibilité”, a déclaré Cao. “C’était le dernier impediment majeur à l’utilisation généralisée de la technologie.”
ECRAM est une cellule de mémoire ou un dispositif qui stocke des données et les utilise pour des calculs au même emplacement physique. Cette architecture informatique non regular élimine le coût énergétique de la navette des données entre la mémoire et le processeur, ce qui permet d’effectuer très efficacement des opérations gourmandes en données.
L’ECRAM code les informations en mélangeant les ions mobiles entre une porte et un canal. Des impulsions électriques appliquées à une borne de grille injectent des ions dans ou tirent des ions d’un canal, et le changement résultant de la conductivité électrique du canal stocke des informations. Il est ensuite lu en mesurant le courant électrique qui traverse le canal. Un électrolyte entre la grille et le canal empêche le flux d’ions indésirables, permettant à l’ECRAM de conserver les données sous forme de mémoire non volatile.
L’équipe de recherche a sélectionné des matériaux compatibles avec les tactics de microfabrication du silicium : oxyde de tungstène pour la grille et le canal, oxyde de zirconium pour l’électrolyte et protons comme ions mobiles. Cela a permis aux appareils d’être intégrés et contrôlés par la microélectronique conventional. D’autres dispositifs ECRAM s’inspirent des processus neurologiques ou encore de la technologie des batteries rechargeables et utilisent des substances organiques ou des ions lithium, tous deux incompatibles avec la microfabrication du silicium.
De moreover, l’appareil du groupe Cao possède de nombreuses autres fonctionnalités qui le rendent idéal pour les accélérateurs d’apprentissage en profondeur. “Bien que l’intégration du silicium soit essentielle, une cellule mémoire idéale doit atteindre toute une série de propriétés”, a déclaré Cao. “Les matériaux que nous avons sélectionnés donnent lieu à de nombreuses autres caractéristiques souhaitables.”
Étant donné que le même matériau a été utilisé pour les bornes de grille et de canal, l’injection d’ions dans et l’extraction d’ions du canal sont des opérations symétriques, simplifiant le schéma de contrôle et améliorant considérablement la fiabilité. Le canal a retenu de manière fiable les ions pendant des heures, ce qui est suffisant pour entraîner la plupart des réseaux de neurones profonds. Comme les ions étaient des protons, le additionally petit ion, les appareils ont changé assez rapidement. Les chercheurs ont découvert que leurs appareils duraient additionally de 100 thousands and thousands de cycles de lecture-écriture et étaient beaucoup plus efficaces que la technologie de mémoire conventional. Enfin, étant donné que les matériaux sont compatibles avec les strategies de microfabrication, les dispositifs pourraient être réduits à l’échelle micro- et nanométrique, permettant une densité et une puissance de calcul élevées.
Les chercheurs ont fait la démonstration de leur dispositif en fabriquant des réseaux d’ECRAM sur des puces en silicium pour effectuer une multiplication matrice-vecteur, une opération mathématique cruciale pour l’apprentissage en profondeur. Les entrées de matrice, ou poids de réseau neuronal, ont été stockées dans les ECRAM, et le réseau a effectué la multiplication sur les entrées vectorielles, représentées sous forme de tensions appliquées, en utilisant les poids stockés pour modifier les courants résultants. Cette opération ainsi que la mise à jour des poids ont été réalisées avec un haut niveau de parallélisme.
“Nos appareils ECRAM seront les additionally utiles pour les purposes informatiques de pointe IA sensibles à la taille de la puce et à la consommation d’énergie”, a déclaré Cao. “C’est là que ce sort d’appareil présente les avantages les additionally significatifs par rapport à ce qui est attainable avec les accélérateurs à base de silicium.”
Les chercheurs font breveter le nouveau dispositif et travaillent avec des partenaires de l’industrie des semi-conducteurs pour commercialiser cette nouvelle technologie. Selon Cao, une software principale de cette technologie est dans les véhicules autonomes, qui doivent rapidement apprendre leur environnement et prendre des décisions avec des ressources de calcul limitées. Il collabore avec la faculté de génie électrique et informatique de l’Illinois pour intégrer leurs ECRAM avec des puces de silicium fabriquées en fonderie et la faculté d’informatique de l’Illinois pour développer des logiciels et des algorithmes tirant parti des capacités uniques d’ECRAM.
