Hervé Henry
Il y a quatre ans, Jason Eshraghian de l’UC Santa Cruz a développé une bibliothèque Python qui incorporate les neurosciences et l’intelligence artificielle pour créer des réseaux neuronaux à pointe, une méthode d’apprentissage automatique qui s’inspire de la capacité du cerveau à traiter efficacement les données. Aujourd’hui, sa bibliothèque de codes open source, appelée « snnTorch », a dépassé les 100 000 téléchargements et est utilisée dans une grande variété de projets, depuis les endeavours de suivi des satellites de la NASA jusqu’aux sociétés de semi-conducteurs optimisant les puces pour l’IA.
Un nouvel posting publié dans la revue Proceedings of the IEEE documente la bibliothèque de codage, mais se veut également une ressource pédagogique franche pour les étudiants et tout autre programmeur intéressé à en savoir plus sur l’IA inspirée du cerveau.
“C’est passionnant vehicle cela montre que les gens s’intéressent au cerveau et qu’ils ont identifié que les réseaux neuronaux sont vraiment inefficaces par rapport au cerveau”, a déclaré Eshraghian, professeur adjoint de génie électrique et informatique. “Les gens s’inquiètent de l’impact environnemental des réseaux de neurones et des grands modèles de langage, et c’est donc une route très plausible.
Construire snnTorch
Les réseaux neuronaux à pointes imitent le cerveau et les systèmes biologiques pour traiter les informations additionally efficacement. Les neurones du cerveau sont au repos jusqu’à ce qu’ils reçoivent une facts à traiter, ce qui provoque une augmentation de leur activité. De même, un réseau neuronal à pointe ne start à traiter les données que lorsqu’il y a une entrée dans le système, plutôt que de traiter constamment les données comme les réseaux neuronaux traditionnels.
“Nous voulons exploiter tous les avantages du cerveau et de son efficacité énergétique et les intégrer aux fonctionnalités de l’intelligence artificielle, en tirant ainsi le meilleur des deux mondes”, a déclaré Eshraghian.
Eshraghian a commencé à créer le code d’un réseau neuronal à pointe en Python comme projet de enthusiasm pendant la pandémie, en quelque sorte comme méthode pour apprendre lui-même le langage de codage Python. Concepteur de puces de development, il s’est intéressé à l’apprentissage du codage en considérant que les puces informatiques pouvaient être optimisées pour l’efficacité énergétique en co-concevant le logiciel et le matériel pour garantir qu’ils se complètent au mieux.
Aujourd’hui, snnTorch est utilisé par des milliers de programmeurs à travers le monde sur une variété de projets, prenant en charge tout, depuis les projets de suivi des satellites de la NASA jusqu’aux principaux concepteurs de puces tels que Graphcore.
Lors de la création de la bibliothèque Python, Eshraghian a créé une documentation sur le code et du matériel pédagogique, qui lui sont venus naturellement dans le processus d’apprentissage du langage de codage. Les documents, tutoriels et cahiers de codage interactifs qu’il a créés as well as tard ont explosé dans la communauté et sont devenus le premier stage d’entrée pour de nombreuses personnes se renseignant sur les sujets de l’ingénierie neuromorphique et des réseaux neuronaux, qu’il considère comme l’une des principales raisons pour lesquelles sa bibliothèque est devenu si populaire.
Une ressource honnête
Sachant que ces supports pédagogiques pourraient être très précieux pour la communauté croissante d’informaticiens et au-delà intéressés par ce domaine, Eshraghian a commencé à compiler sa vaste documentation dans un short article, qui a maintenant été publié dans les Actes de l’IEEE, un chief informatique. journal.
Le doc agit comme un compagnon de la bibliothèque de codes snnTorch et est structuré comme un didacticiel, et en plus, un doc d’opinion, discutant de l’incertitude parmi les chercheurs en apprentissage profond inspirés par le cerveau et offrant une perspective sur l’avenir du domaine. Eshraghian a déclaré que l’article indique intentionnellement à ses lecteurs que le domaine de l’informatique neuromorphique est en évolution et instable dans le but d’épargner aux étudiants la annoyance d’essayer de trouver la foundation théorique pour la prise de décision en matière de code que la communauté des chercheurs ne comprend même pas..
“Cet post est terriblement honnête, parce que les étudiants le méritent”, a déclaré Eshraghian. “Il y a beaucoup de choses que nous faisons dans le domaine de l’apprentissage profond, et nous ne savons tout simplement pas pourquoi elles fonctionnent. Bien souvent, nous voulons affirmer que nous avons fait quelque chose intentionnellement, et nous avons publié parce que nous avons traversé une série d’expériences rigoureuses. mais ici nous disons simplement : c’est ce qui fonctionne le mieux et nous ne savons pas pourquoi.”
Le document contient des blocs de code, un format inhabituel pour les paperwork de recherche typiques. Ces blocs de code sont parfois accompagnés d’explications selon lesquelles certains domaines peuvent être très instables, mais donnent un aperçu des raisons pour lesquelles les chercheurs pensent que certaines approches peuvent réussir. Eshraghian a déclaré qu’il avait vu un accueil positif à cette approche honnête dans la communauté et qu’on lui avait même dit que le papier était utilisé dans le matériel d’intégration des startups de matériel neuromorphique.
“Je ne veux pas que mes recherches fassent subir aux gens les mêmes souffrances que moi”, a-t-il déclaré.
Apprendre du cerveau et à son sujet
L’article offre une standpoint sur la façon dont les chercheurs dans le domaine pourraient surmonter certaines des limites de l’apprentissage profond inspiré du cerveau qui découlent du fait que, dans l’ensemble, notre compréhension de la façon dont le cerveau fonctionne et traite l’information est assez limitée.
Pour que les chercheurs en IA puissent évoluer vers des mécanismes d’apprentissage furthermore proches du cerveau pour leurs modèles d’apprentissage profond, ils doivent identifier les corrélations et les divergences entre l’apprentissage profond et la biologie, a déclaré Eshraghian. L’une de ces différences clés est que les cerveaux ne peuvent pas analyser toutes les données qu’ils ont déjà saisies de la même manière que les modèles d’IA, et se concentrent plutôt sur les données en temps réel qui leur parviennent, ce qui pourrait offrir des opportunités d’amélioration de l’énergie. efficacité.
“Les cerveaux ne sont pas des devices à voyager dans le temps, ils ne peuvent pas revenir en arrière. Tous vos souvenirs avancent à mesure que vous découvrez le monde, donc la development et le traitement sont couplés”, a déclaré Eshraghian. “L’une des choses dont je parle beaucoup dans cet write-up est la manière dont nous pouvons appliquer l’apprentissage en temps réel.”
Un autre domaine d’exploration dans l’article est un notion fondamental en neurosciences qui stipule que les neurones qui se déclenchent ensemble sont câblés ensemble, ce qui signifie que lorsque deux neurones sont déclenchés pour envoyer un sign en même temps, le chemin entre les deux neurones est renforcé. Cependant, la manière dont le cerveau apprend à l’échelle d’un organe reste encore mystérieuse.
Le concept « feu ensemble, câblé ensemble » a été traditionnellement considéré comme en opposition à la méthode de formation modèle de l’apprentissage profond connue sous le nom de rétropropagation, mais Eshraghian suggère que ces processus pourraient être complémentaires, ouvrant de nouveaux domaines d’exploration dans ce domaine.
Eshraghian est également enthousiaste à l’idée de travailler avec des organoïdes cérébraux, qui sont des modèles de tissu cérébral cultivé à partir de cellules souches, pour en savoir in addition sur la façon dont le cerveau traite l’information. Il collabore actuellement avec des chercheurs en génie biomoléculaire du groupe Braingeneers de l’UCSC Genomics Institute pour explorer ces questions avec des modèles organoïdes. Il s’agit d’une opportunité one of a kind pour les ingénieurs de l’UC Santa Cruz d’incorporer le « wetware » – un terme faisant référence aux modèles biologiques pour la recherche informatique – dans le paradigme de co-conception logiciel/matériel qui prévaut dans le domaine. Le code snnTorch pourrait même fournir une plate-forme de simulation d’organoïdes, ce qui peut être difficile à maintenir en laboratoire.
” “Nous construisons les devices et outils biologiques que nous pouvons utiliser pour mieux comprendre comment l’apprentissage peut se produire et remark cela pourrait se traduire afin de rendre l’apprentissage en profondeur as well as efficace”, a déclaré Eshraghian.
Apprentissage inspiré par le cerveau à l’UCSC et au-delà
Eshraghian utilise désormais les principles développés dans sa bibliothèque et l’article récent de sa classe sur l’informatique neuromorphique à l’UC Santa Cruz intitulé “Brain-Inspired Deep Finding out”. Des étudiants de premier cycle et des cycles supérieurs dans diverses disciplines universitaires suivent le cours pour apprendre les bases de l’apprentissage profond et réaliser un projet dans lequel ils écrivent leur propre didacticiel pour snnTorch et y contribuent potentiellement.
Pendant ce temps, la model préimprimée du récent posting de l’IEEE continue on de recevoir des contributions de chercheurs du monde entier, reflet de la nature dynamique et open up supply du domaine. Une nouvelle subvention de la NSF dont il est co-chercheur principal permettra aux étudiants de participer à l’atelier d’un mois sur l’ingénierie neuromorphique et cognitive de Telluride.
Eshraghian collabore avec des personnes pour faire progresser le domaine de plusieurs manières, qu’il s’agisse de faire des découvertes biologiques sur le cerveau, de repousser les limites des puces neuromorphiques pour gérer les fees de travail d’IA de faible puissance, ou encore de faciliter la collaboration pour amener le model de réseau neuronal de pointe de l’informatique à d’autres domaines tels que la physique naturelle.
Les canaux Discord et Slack dédiés à la dialogue du code du réseau neuronal de pointe soutiennent un environnement de collaboration florissant au sein de l’industrie et du monde universitaire. Eshraghian est même récemment tombé sur une offre d’emploi qui citait la maîtrise de snnTorch comme qualité souhaitée.
