ChatGPT et d’autres modèles génératifs profonds se révèlent être d’étranges imitations. Ces mannequins IA peuvent produire des poèmes, terminer des symphonies et créer de nouvelles vidéos et images en apprenant automatiquement à partir de millions d’exemples d’œuvres antérieures. Ces outils extrêmement puissants et polyvalents outstanding dans la génération de nouveaux contenus qui ressemblent à tout ce qu’ils ont vu auparavant.
Mais comme le disent les ingénieurs du MIT dans une nouvelle étude, la similarité ne suffit pas si l’on veut véritablement innover dans les tâches d’ingénierie.
« Les modèles génératifs profonds (DGM) sont très prometteurs, mais aussi intrinsèquement défectueux », déclare l’auteur de l’étude Lyle Regenwetter, étudiant diplômé en génie mécanique au MIT. « L’objectif de ces modèles est d’imiter un ensemble de données. Mais en tant qu’ingénieurs et concepteurs, nous ne souhaitons souvent pas créer une conception déjà existante. »
Lui et ses collègues font valoir que si les ingénieurs en mécanique veulent l’aide de l’IA pour générer de nouvelles idées et conceptions, ils devront d’abord recentrer ces modèles au-delà de la « similarité statistique ».
« Les performances d’un grand nombre de ces modèles sont explicitement liées à la similitude statistique d’un échantillon généré avec ce que le modèle a déjà vu », explique le co-auteur Faez Ahmed, professeur adjoint de génie mécanique au MIT. « Mais en matière de layout, être différent peut être important si l’on veut innover. »
Dans leur étude, Ahmed et Regenwetter révèlent les pièges des modèles génératifs profonds lorsqu’ils sont chargés de résoudre des problèmes de conception strategy. Dans une étude de cas sur la conception de cadres de bicyclettes, l’équipe montre que ces modèles finissent par générer de nouveaux cadres qui imitent les conceptions précédentes mais échouent en termes de performances et d’exigences strategies.
Lorsque les chercheurs ont présenté aux DGM le même problème de cadre de vélo qu’ils avaient spécifiquement conçu avec des objectifs axés sur l’ingénierie, plutôt que sur une easy similarité statistique, ces modèles ont produit des cadres additionally innovants et additionally performants.
Les résultats de l’équipe montrent que les modèles d’IA axés sur la similarité ne se traduisent pas vraiment lorsqu’ils sont appliqués à des problèmes d’ingénierie. Mais, comme les chercheurs le soulignent également dans leur étude, avec une planification minutieuse des mesures adaptées à la tâche, les modèles d’IA pourraient constituer un « copilote » de conception efficace.
« Il s’agit de savoir remark l’IA peut aider les ingénieurs à créer in addition efficacement et additionally rapidement des produits innovants », explique Ahmed. « Pour ce faire, nous devons d’abord comprendre les exigences. C’est un pas dans cette way. »
La nouvelle étude de l’équipe est apparue récemment en ligne et paraîtra dans l’édition imprimée de décembre de la revue Computer system Aided Style and design. La recherche est une collaboration entre des informaticiens du MIT-IBM Watson AI Lab et des ingénieurs en mécanique du DeCoDe Lab du MIT. Les co-auteurs de l’étude incluent Akash Srivastava et Dan Gutreund du MIT-IBM Watson AI Lab.
Définir un problème
Comme l’écrivent Ahmed et Regenwetter, les DGM sont « de puissants apprenants, dotés d’une capacité inégalée » à traiter d’énormes quantités de données. DGM est un terme général désignant tout modèle d’apprentissage automatique formé pour apprendre la distribution des données, puis l’utiliser pour générer un nouveau contenu statistiquement similaire. Le très populaire ChatGPT est un type de modèle génératif profond connu sous le nom de grand modèle de langage, ou LLM, qui intègre des capacités de traitement du langage naturel dans le modèle pour permettre à l’application de générer des visuals et des paroles réalistes en réponse à des requêtes conversationnelles. D’autres modèles populaires pour la génération d’images incluent DALL-E et Steady Diffusion.
En raison de leur capacité à apprendre des données et à générer des échantillons réalistes, les DGM sont de as well as en moreover appliqués dans plusieurs domaines d’ingénierie. Les concepteurs ont utilisé des modèles génératifs approfondis pour concevoir de nouveaux cadres d’avions, des conceptions de métamatériaux et des géométries optimales pour les ponts et les voitures. Mais pour la plupart, les modèles ont imité des conceptions existantes, sans améliorer les performances des conceptions existantes.
« Les concepteurs qui travaillent avec des DGM manquent en quelque sorte cette cerise sur le gâteau, qui consiste à ajuster l’objectif de development du modèle pour se concentrer sur les exigences de conception », explique Regenwetter. « Ainsi, les gens finissent par générer des conceptions très similaires à l’ensemble de données. »
Dans la nouvelle étude, il décrit les principaux pièges liés à l’application des DGM aux tâches d’ingénierie et montre que l’objectif fondamental des DGM criteria ne prend pas en compte les exigences de conception spécifiques. Pour illustrer cela, l’équipe évoque un cas easy de conception de cadre de vélo et démontre que des problèmes peuvent surgir dès la section d’apprentissage initiale. À mesure qu’un modèle apprend de milliers de cadres de vélo existants de différentes tailles et formes, il peut considérer que deux cadres de proportions similaires ont des performances similaires, alors qu’en fait une petite déconnexion dans un cadre – trop petite pour être enregistrée comme une différence significative dans les statistiques. métriques de similarité : rend le cadre beaucoup furthermore faible que l’autre cadre visuellement similaire.
Au-delà de la « vanille »
Les chercheurs ont poursuivi l’exemple du vélo pour voir quelles conceptions un DGM générerait réellement après avoir tiré les leçons des conceptions existantes. Ils ont d’abord testé un réseau contradictoire génératif classique « vanille », ou GAN – un modèle largement utilisé dans la synthèse d’images et de textes, et conçu simplement pour générer un contenu statistiquement similaire. Ils ont formé le modèle sur un ensemble de données de milliers de cadres de vélo, y compris des modèles fabriqués dans le commerce et des cadres uniques moins conventionnels conçus par des amateurs.
Une fois que le modèle a appris des données, les chercheurs lui ont demandé de générer des centaines de nouveaux cadres de vélo. Le modèle a produit des conceptions réalistes qui ressemblaient à des cadres existants. Mais aucun des modèles n’a montré d’amélioration significative des performances, et certains étaient même un peu inférieurs, avec des cadres plus lourds et moins structurellement solides.
L’équipe a ensuite effectué le même check avec deux autres DGM spécialement conçus pour les tâches d’ingénierie. Le leading modèle est celui qu’Ahmed a précédemment développé pour générer des conceptions de profils aérodynamiques hautes performances. Il a construit ce modèle pour donner la priorité à la similarité statistique ainsi qu’aux performances fonctionnelles. Lorsqu’il a été appliqué au cadre de vélo, ce modèle a généré des conceptions réalistes qui étaient également plus légères et in addition solides que les conceptions existantes. Mais il a également produit des cadres physiquement « invalides », avec des composants qui ne s’ajustaient pas tout à fait ou se chevauchaient de manière physiquement impossible.
« Nous avons vu des conceptions nettement meilleures que l’ensemble de données, mais également des conceptions géométriquement incompatibles auto le modèle n’était pas axé sur le regard des contraintes de conception », explique Regenwetter.
Le dernier modèle testé par l’équipe était celui que Regenwetter avait construit pour générer de nouvelles buildings géométriques. Ce modèle a été conçu avec les mêmes priorités que les modèles précédents, avec en in addition des contraintes de conception et en donnant la priorité aux cadres physiquement viables, par exemple, sans déconnexions ni barres qui se chevauchent. Ce dernier modèle a produit les conceptions les in addition performantes, qui étaient également physiquement réalisables.
« Nous avons constaté que lorsqu’un modèle va au-delà de la similarité statistique, il peut proposer des conceptions meilleures que celles qui existent déjà », explique Ahmed. « C’est une preuve de ce que l’IA peut faire, si elle est explicitement entraînée à une tâche de conception. »
Par exemple, si les DGM peuvent être construits avec d’autres priorités, telles que les performances, les contraintes de conception et la nouveauté, Ahmed prévoit que « de nombreux domaines de l’ingénierie, tels que la conception moléculaire et les infrastructures civiles, en bénéficieraient grandement. uniquement sur la similarité statistique, nous espérons inspirer de nouvelles voies et stratégies dans les programs d’IA générative en dehors du multimédia.
