Alors que les scientifiques repoussent les limites de l’apprentissage automatique, la quantité de temps, d’énergie et d’argent nécessaires pour previous des modèles de réseaux neuronaux de furthermore en as well as complexes monte en flèche. Un nouveau domaine de l’intelligence artificielle appelé apprentissage en profondeur analogique promet un calcul in addition rapide avec une portion de la consommation d’énergie.
Les résistances programmables sont les éléments clés de l’apprentissage en profondeur analogique, tout comme les transistors sont les éléments centraux des processeurs numériques. En répétant des réseaux de résistances programmables dans des couches complexes, les chercheurs peuvent créer un réseau de “neurones” et de “synapses” artificiels analogiques qui exécutent des calculs comme un réseau neuronal numérique. Ce réseau peut ensuite être formé pour réaliser des tâches d’IA complexes comme la reconnaissance d’images et le traitement du langage naturel.
Une équipe multidisciplinaire de chercheurs du MIT a entrepris de repousser les limites de vitesse d’un sort de synapse analogique artificielle qu’ils avaient précédemment développée. Ils ont utilisé un matériau inorganique pratique dans le processus de fabrication qui permet à leurs appareils de fonctionner 1 million de fois furthermore rapidement que les versions précédentes, ce qui est également approximativement 1 million de fois moreover rapide que les synapses du cerveau humain.
De in addition, ce matériau inorganique rend également la résistance extrêmement économe en énergie. Contrairement aux matériaux utilisés dans la model précédente de leur appareil, le nouveau matériau est suitable avec les approaches de fabrication du silicium. Ce changement a permis de fabriquer des dispositifs à l’échelle du nanomètre et pourrait ouvrir la voie à une intégration dans du matériel informatique industrial pour des purposes d’apprentissage en profondeur.
“Avec cette idée clé et les strategies de nanofabrication très puissantes dont nous disposons au MIT.nano, nous avons pu assembler ces pièces et démontrer que ces dispositifs sont intrinsèquement très rapides et fonctionnent avec des tensions raisonnables”, déclare l’auteur principal Jesús A. del Alamo, professeur Donner au département de génie électrique et d’informatique (EECS) du MIT. “Ce travail a vraiment mis ces appareils à un point où ils semblent maintenant vraiment prometteurs pour de futures apps.”
“Le mécanisme de fonctionnement de l’appareil est l’insertion électrochimique du furthermore petit ion, le proton, dans un oxyde isolant pour moduler sa conductivité électronique. Parce que nous travaillons avec des appareils très fins, nous pourrions accélérer le mouvement de cet ion en utilisant un fort courant électrique. et poussent ces dispositifs ioniques au régime de fonctionnement de la nanoseconde », explique l’auteur principal Bilge Yildiz, professeur Breene M. Kerr dans les départements de science et génie nucléaires et de science et génie des matériaux.
“Le potentiel d’action dans les cellules biologiques augmente et diminue avec une échelle de temps de quelques millisecondes, auto la différence de pressure d’environ, 1 volt est limitée par la stabilité de l’eau”, explique l’auteur principal Ju Li, professeur de science et d’ingénierie nucléaires de la Battelle Energy Alliance et professeur de science et d’ingénierie des matériaux, “Ici, nous appliquons jusqu’à 10 volts à travers un film de verre solide spécial d’une épaisseur nanométrique qui conduit les protons, sans l’endommager de façon permanente. Et as well as le champ est fort, as well as les dispositifs ioniques sont rapides.”
Ces résistances programmables augmentent considérablement la vitesse à laquelle un réseau de neurones est entraîné, tout en réduisant considérablement le coût et l’énergie nécessaires pour effectuer cet entraînement. Cela pourrait aider les scientifiques à développer beaucoup furthermore rapidement des modèles d’apprentissage en profondeur, qui pourraient ensuite être appliqués à des utilisations telles que les voitures autonomes, la détection de fraude ou l’analyse d’images médicales.
“Une fois que vous aurez un processeur analogique, vous n’entraînerez plus de réseaux sur lesquels tout le monde travaille. Vous entraînerez des réseaux d’une complexité sans précédent que personne d’autre ne peut se permettre, et donc largement les surpasser tous. En d’autres termes, c’est pas une voiture additionally rapide, c’est un vaisseau spatial », ajoute Murat Onen, auteur principal et put up-doctorant au MIT.
Les co-auteurs incluent Frances M. Ross, professeure Ellen Swallow Richards au Département de science et génie des matériaux les submit-doctorants Nicolas Emond et Baoming Wang et Difei Zhang, un étudiant diplômé de l’EECS. La recherche est publiée aujourd’hui dans Science.
Accélérer l’apprentissage en profondeur
L’apprentissage en profondeur analogique est as well as rapide et additionally économe en énergie que son homologue numérique pour deux raisons principales. “Tout d’abord, le calcul est effectué en mémoire, de sorte que d’énormes charges de données ne sont pas transférées de la mémoire vers un processeur.” Les processeurs analogiques effectuent également des opérations en parallèle. Si la taille de la matrice augmente, un processeur analogique n’a pas besoin de additionally de temps pour effectuer de nouvelles opérations car or truck tous les calculs se produisent simultanément.
L’élément clé de la nouvelle technologie de processeur analogique du MIT est connu sous le nom de résistance protonique programmable. Ces résistances, qui se mesurent en nanomètres (un nanomètre équivaut à un milliardième de mètre), sont disposées en réseau, à la manière d’un échiquier.
Dans le cerveau humain, l’apprentissage se produit en raison du renforcement et de l’affaiblissement des connexions entre les neurones, appelés synapses. Les réseaux de neurones profonds ont depuis longtemps adopté cette stratégie, où les poids du réseau sont programmés by way of des algorithmes de development. Dans le cas de ce nouveau processeur, l’augmentation et la diminution de la conductance électrique des résistances protoniques permettent l’apprentissage automatique analogique.
La conductance est contrôlée par le mouvement des protons. Pour augmenter la conductance, as well as de protons sont poussés dans un canal de la résistance, tandis que pour diminuer la conductance, des protons sont retirés. Ceci est accompli en utilisant un électrolyte (similaire à celui d’une batterie) qui conduit les protons mais bloque les électrons.
Pour développer une résistance protonique programmable extremely-rapide et très économe en énergie, les chercheurs se sont tournés vers différents matériaux pour l’électrolyte. Alors que d’autres appareils utilisaient des composés organiques, Onen s’est concentré sur le verre de phosphosilicate inorganique (PSG).
Le PSG est essentiellement du dioxyde de silicium, qui est le matériau déshydratant en poudre trouvé dans de minuscules sacs qui viennent dans la boîte avec de nouveaux meubles pour éliminer l’humidité. C’est également l’oxyde le furthermore connu utilisé dans le traitement du silicium. Pour fabriquer le PSG, un tout petit peu de phosphore est ajouté au silicium pour lui donner des caractéristiques particulières pour la conduction protonique.
Onen a émis l’hypothèse qu’un PSG optimisé pourrait avoir une conductivité protonique élevée à température ambiante sans avoir besoin d’eau, ce qui en ferait un électrolyte solide idéal pour cette application. Il avait raison.
Vitesse surprenante
Le PSG permet un mouvement ultrarapide des protons car or truck il contient une multitude de pores de taille nanométrique dont les surfaces fournissent des voies de diffusion des protons. Il peut également supporter des champs électriques pulsés très puissants. Ceci est essentiel, explique Onen, auto l’application de additionally de rigidity à l’appareil permet aux protons de se déplacer à des vitesses fulgurantes.
« La vitesse était certainement surprenante. Normalement, nous n’appliquerions pas des champs aussi extrêmes sur les appareils, afin de ne pas les transformer en cendres. ce que nous avions avant. Et ce mouvement n’endommage rien, grâce à la petite taille et à la faible masse des protons. C’est presque comme une téléportation », dit-il.
“L’échelle de temps de la nanoseconde signifie que nous sommes proches du régime d’effet tunnel balistique ou même quantique pour le proton, dans un champ aussi extrême”, ajoute Li.
Parce que les protons n’endommagent pas le matériau, la résistance peut fonctionner pendant des millions de cycles sans tomber en panne. Ce nouvel électrolyte a permis une résistance protonique programmable qui est un million de fois moreover rapide que leur appareil précédent et peut fonctionner efficacement à température ambiante, ce qui est significant pour l’intégrer dans le matériel informatique.
Grâce aux propriétés isolantes du PSG, presque aucun courant électrique ne traverse le matériau lorsque les protons se déplacent. Cela rend l’appareil extrêmement économe en énergie, ajoute Onen.
Maintenant qu’ils ont démontré l’efficacité de ces résistances programmables, les chercheurs prévoient de les repenser pour une fabrication à grand volume, explique del Alamo. Ensuite, ils peuvent étudier les propriétés des réseaux de résistances et les mettre à l’échelle afin qu’ils puissent être intégrés dans des systèmes.
En même temps, ils prévoient d’étudier les matériaux pour éliminer les goulots d’étranglement qui limitent la rigidity nécessaire pour transférer efficacement les protons vers, à travers et depuis l’électrolyte.
“Une autre course passionnante que ces dispositifs ioniques peuvent activer est un matériel économe en énergie pour émuler les circuits neuronaux et les règles de plasticité synaptique qui sont déduites en neurosciences, au-delà des réseaux neuronaux profonds analogiques”, ajoute Yildiz.
“La collaboration que nous avons va être essentielle pour innover à l’avenir. La voie à suivre sera toujours très difficile, mais en même temps très excitante”, déclare del Alamo.
Cette recherche est financée, en partie, par le MIT-IBM Watson AI Lab.