Guillaume Rolland
Un algorithme d’apprentissage automatique a démontré la capacité de traiter des données qui dépassent la mémoire disponible d’un ordinateur en identifiant les caractéristiques clés d’un ensemble de données massif et en les divisant en tons gérables qui n’étouffent pas le matériel informatique. Développé au laboratoire national de Los Alamos, l’algorithme a établi un file mondial pour la factorisation d’énormes ensembles de données lors d’un exam sur le Summit du laboratoire countrywide d’Oak Ridge, le cinquième supercalculateur le plus rapide au monde.
Tout aussi efficace sur les ordinateurs portables que sur les superordinateurs, l’algorithme hautement évolutif résout les goulots d’étranglement matériels qui empêchent le traitement des informations provenant d’applications riches en données dans la recherche sur le most cancers, l’imagerie satellite, les réseaux de médias sociaux, la science de la sécurité nationale et la recherche sur les tremblements de terre, pour n’en citer que quelques-uns.
“Nous avons développé une implémentation” hors mémoire “de la méthode de factorisation matricielle non négative qui vous permet de factoriser des ensembles de données moreover volumineux que ce qui était auparavant attainable sur un matériel donné”, a déclaré Ismael Boureima, physicien computationnel au Laboratoire countrywide de Los Alamos. Boureima est le premier auteur de l’article dans The Journal of Supercomputing sur l’algorithme document. “Notre mise en œuvre décompose simplement le Major Facts en unités plus petites qui peuvent être traitées avec les ressources disponibles. Par conséquent, il s’agit d’un outil utile pour suivre des ensembles de données en croissance exponentielle.”
“L’analyse de données traditionnelle exige que les données respectent les contraintes de mémoire. Notre approche remet en problem cette idea”, a déclaré Manish Bhattarai, scientifique en apprentissage automatique à Los Alamos et co-auteur de l’article. “Nous avons introduit une alternative de manque de mémoire. Lorsque le quantity de données dépasse la mémoire disponible, notre algorithme le décompose en segments in addition petits. Il traite ces segments un par un, les faisant entrer et sortir de la mémoire. Cette procedure nous donne la capacité distinctive de gérer et d’analyser efficacement des ensembles de données extrêmement volumineux.
L’algorithme distribué pour les systèmes informatiques hautes performances modernes et hétérogènes peut être utile sur du matériel aussi petit qu’un ordinateur de bureau, ou aussi grand et complexe que Chicoma, Summit ou les prochains supercalculateurs Venado, a déclaré Boureima.
“La query n’est furthermore de savoir s’il est possible de factoriser une matrice moreover grande, mais plutôt combien de temps la factorisation va prendre”, a déclaré Boureima.
La mise en œuvre de Los Alamos tire parti de fonctionnalités matérielles telles que les GPU pour accélérer le calcul et une interconnexion rapide afin de déplacer efficacement les données entre les ordinateurs. Dans le même temps, l’algorithme exécute efficacement plusieurs tâches simultanément.
La factorisation matricielle non négative est un autre volet des algorithmes hautes performances développés dans le cadre du projet SmartTensors à Los Alamos.
Dans l’apprentissage automatique, la factorisation matricielle non négative peut être utilisée comme une forme d’apprentissage non supervisé pour extraire le sens des données, a déclaré Boureima. “C’est très important pour l’apprentissage automatique et l’analyse des données, automobile l’algorithme peut identifier des caractéristiques latentes explicables dans les données qui ont une signification particulière pour l’utilisateur.”
La study course history
Lors de l’opération document menée par l’équipe de Los Alamos, l’algorithme a traité une matrice dense de 340 téraoctets et une matrice clairsemée de 11 exaoctets, en utilisant 25 000 GPU.
“Nous atteignons la factorisation en exaoctets, ce que personne d’autre n’a fait à notre connaissance”, a déclaré Boian Alexandrov, co-auteur du nouvel write-up et physicien théoricien à Los Alamos qui a dirigé l’équipe qui a développé la plateforme d’intelligence artificielle SmartTensors..
La décomposition ou la factorisation des données est une strategy spécialisée d’exploration de données visant à extraire des informations pertinentes, en simplifiant les données dans des formats compréhensibles.
Bhattarai a en outre souligné l’évolutivité de leur algorithme, en faisant remarquer : « En revanche, les méthodes conventionnelles sont souvent confrontées à des goulots d’étranglement, principalement dus au décalage dans le transfert de données entre les processeurs d’un ordinateur et sa mémoire. »
“Nous avons également montré qu’il n’est pas nécessaire d’avoir de gros ordinateurs”, a déclaré Boureima. “Passer à 25 000 GPU est une bonne selected si vous pouvez vous le permettre, mais notre algorithme sera utile sur les ordinateurs de bureau pour quelque chose que vous ne pouviez pas traiter auparavant.”
Le financement : Cette recherche a été financée par DNN R&D et par le programme de recherche et développement dirigé par le laboratoire du laboratoire countrywide de Los Alamos.
LA-UR-23-29923
