Mélanie Thomas L’Institut de robotique de l’Université Carnegie Mellon a un nouvel artiste en résidence.
FRIDA, un bras robotique auquel est collé un pinceau, utilise l’intelligence artificielle pour collaborer avec les humains sur des œuvres d’art. Demandez à FRIDA de peindre un tableau, et il se met au travail en mettant le pinceau sur la toile.
“Il y a ce tableau d’une ballerine grenouille qui, je pense, s’est très bien passé”, a déclaré Peter Schaldenbrand, titulaire d’un doctorat à l’école d’informatique. étudiant à l’Institut de robotique travaillant avec FRIDA et explorant l’IA et la créativité. “C’est vraiment idiot et amusant, et je pense que la surprise de ce que FRIDA a généré sur la foundation de ma contribution était vraiment amusante à voir.”
FRIDA, du nom de Frida Kahlo, signifie Framework and Robotics Initiative for Producing Arts. Le projet est dirigé par Schaldenbrand avec les membres du corps professoral du RI Jean Oh et Jim McCann, et a attiré des étudiants et des chercheurs de toute la CMU.
L’équipe expérimente également d’autres entrées, y compris l’audio. Ils ont joué “Dancing Queen” d’ABBA et ont demandé à FRIDA de le peindre.
“FRIDA est un système de peinture robotique, mais FRIDA n’est pas un artiste”, a déclaré Schaldenbrand. “FRIDA ne génère pas les idées pour communiquer. FRIDA est un système avec lequel un artiste peut collaborer. L’artiste peut spécifier des objectifs de haut niveau pour FRIDA, puis FRIDA peut les exécuter.”
Le robotic utilise des modèles d’IA similaires à ceux qui alimentent des outils tels que ChatGPT et DALL-E 2 d’OpenAI, qui génèrent respectivement du texte ou une image en réponse à une invite.
Les produits finaux de FRIDA sont impressionnistes et fantaisistes. Les coups de pinceau sont audacieux. Ils manquent de la précision si souvent recherchée dans les endeavours robotiques. Si FRIDA commet une erreur, elle la corrige, incorporant la tache de peinture errante dans le résultat remaining.
”
FRIDA va encore in addition loin et utilise son système robotique intégré pour produire des peintures physiques. la différence entre ce que FRIDA compose en simulation et ce qu’il peint sur la toile. FRIDA utilise une idée connue sous le nom de serious2sim2serious.
Cet work de collaboration multiculturelle est dirigé par Zhixuan Liu et Beverley-Claire Okogwu, étudiants de première année à la maîtrise RI, et Youeun Shin et Youngsik Yun, étudiants invités à la maîtrise de l’Université Dongguk en Corée. Leurs initiatives comprennent des contributions de données de development de la Chine. de la Corée, du Mexique, du Nigeria, de la Norvège, du Vietnam et d’autres pays.
Une fois que l’utilisateur humain de FRIDA a spécifié un principle de haut niveau de la peinture qu’il souhaite créer. FRIDA affiche une palette de couleurs sur un écran d’ordinateur pour qu’un humain la mélange et la fournisse au robot. Le mélange automatique de peinture est actuellement en cours de développement, dirigé par Jiaying Wei, étudiant à la maîtrise à l’École d’architecture, avec Eunsu Kang.
Armé d’un pinceau et de peinture, FRIDA fera ses premiers coups de pinceau. De temps en temps. L’image aide FRIDA à évaluer ses progrès et à affiner son strategy, si nécessaire. L’ensemble du processus prend des heures.
“Les gens se demandent si FRIDA va prendre les emplois des artistes, mais l’objectif principal du projet FRIDA est tout le contraire. Nous voulons vraiment promouvoir la créativité humaine à travers FRIDA”, a déclaré Oh. “Par exemple, je voulais personnellement être artiste. Maintenant, je peux réellement collaborer avec FRIDA pour exprimer mes idées en peinture.”
Furthermore d’informations sur FRIDA sont disponibles sur son website Website. L’équipe présentera ses dernières recherches sur le projet “FRIDA : A Collaborative Robotic Painter With a Differentiable, Authentic2Sim2Real Setting up Ecosystem” lors de la conférence internationale IEEE 2023 sur la robotique et l’automatisation en mai à Londres. FRIDA réside dans le laboratoire Bot Intelligence Team (Massive) du RI dans le quartier de Squirrel Hill à Pittsburgh.
