Des chercheurs de la North Carolina Point out College ont développé une nouvelle méthode de pointe pour contrôler la façon dont les systèmes d’intelligence artificielle (IA) créent des illustrations or photos. Le travail a des apps dans des domaines allant de la robotique autonome à la development en IA.



Le problème est un form de tâche d’IA appelée génération d’images conditionnelle. Par exemple. selon l’animal demandé par l’utilisateur. Des approaches in addition récentes se sont appuyées sur cela pour incorporer des conditions concernant une mise en page d’image. Cela permet aux utilisateurs de spécifier les types d’objets qu’ils souhaitent voir apparaître à des endroits particuliers de l’écran. Par exemple, le ciel peut aller dans une boîte, un arbre peut être dans une autre boîte, un ruisseau peut être dans une boîte séparée, et ainsi de suite.

« Notre approche est hautement reconfigurable », déclare Tianfu Wu. « Comme les approches précédentes. Par exemple, les utilisateurs pourraient demander à l’IA de créer une scène de montagne. Les utilisateurs pourraient alors demander au système d’ajouter des skieurs à cette scène. »



De moreover, la nouvelle approche permet aux utilisateurs de faire en sorte que l’IA manipule des éléments spécifiques afin qu’ils soient identiques de manière identifiable, mais qu’ils aient bougé ou changé d’une manière ou d’une autre. Par exemple, l’IA peut créer une série d’images montrant des skieurs se tournant vers le spectateur lorsqu’ils se déplacent à travers le paysage.

« Une application pour cela serait d’aider les robots autonomes à » imaginer « à quoi pourrait ressembler le résultat last avant de commencer une tâche donnée », explique Wu. « Vous pouvez également utiliser le système pour générer des images pour la formation à l’IA. Ainsi. »

Les chercheurs ont testé leur nouvelle approche en utilisant l’ensemble de données COCO-Things et l’ensemble de données Visual Genome. Basée sur des mesures conventional de qualité d’image, la nouvelle approche a surpassé les précédentes methods de création d’images de pointe.

a déclaré Wu.

La formation à la nouvelle approche nécessite une bonne quantité de puissance de calcul  les chercheurs ont utilisé une station de travail 4-GPU. Cependant, le déploiement du système est moins coûteux en calcul.

« Nous avons constaté qu’un GPU vous offre une vitesse presque en temps réel », explique Wu.

« En plus de notre report, nous avons rendu notre code resource pour cette approche disponible sur GitHub. Cela dit, nous sommes toujours ouverts à la collaboration avec des partenaires de l’industrie. »

Le travail a été soutenu par la Countrywide Science Foundation, sous les subventions 1909644, 1822477, 2024688 et 2013451 par le U.S. Army Investigation Place of work, sous la subvention W911NF1810295 et par l’Administration pour l’intégration communautaire, dans le cadre de la subvention 90IFDV0017-01-00.