Les chercheurs ont formé un “chef” robotique pour regarder et apprendre des vidéos de delicacies, et recréer le plat lui-même.
Les chercheurs, de l’Université de Cambridge, ont programmé leur chef robotique avec un “livre de cuisine” de huit recettes de salade simples. Après avoir visionné une vidéo d’un humain démontrant l’une des recettes, le robot a pu identifier la recette en cours de préparation et la préparer.
De in addition, les vidéos ont aidé le robot à ajouter progressivement à son livre de recettes. À la fin de l’expérience, le robotic a proposé lui-même une neuvième recette. Leurs résultats, rapportés dans la revue IEEE Accessibility, démontrent comment le contenu vidéo peut être une resource précieuse et riche de données pour la generation alimentaire automatisée, et pourrait permettre un déploiement plus facile et moins cher des robots chefs.
Les chefs robotiques ont été présentés dans la science-fiction pendant des décennies, mais en réalité, la delicacies est un problème difficile pour un robot. Plusieurs sociétés commerciales ont construit des prototypes de robots cooks, bien qu’aucun d’entre eux ne soit actuellement disponible dans le commerce, et ils sont bien en retard sur leurs homologues humains en termes de compétences.
Les cuisiniers humains peuvent apprendre de nouvelles recettes par l’observation, qu’il s’agisse de regarder une autre personne cuisiner ou de regarder une vidéo sur YouTube, mais programmer un robotic pour préparer une gamme de plats est coûteux et prend du temps.
“Nous voulions voir si nous pouvions previous un robotic chef pour qu’il apprenne de la même manière progressive que les humains peuvent le faire, en identifiant les ingrédients et remark ils vont ensemble dans le plat”, a déclaré Grzegorz Sochacki du département d’ingénierie de Cambridge, le leading journal du journal. auteur.
Sochacki, doctorant au laboratoire de robotique bio-inspirée du professeur Fumiya Iida, et ses collègues ont conçu huit recettes de salade simples et se sont filmés en teach de les faire. Ils ont ensuite utilisé un réseau de neurones accessible au community pour former leur robot chef. Le réseau de neurones avait déjà été programmé pour identifier une gamme d’objets différents, y compris les fruits et légumes utilisés dans les huit recettes de salade (brocoli, carotte, pomme, banane et orange).
À l’aide de procedures de vision par ordinateur, le robotic a analysé chaque image de la vidéo et a pu identifier les différents objets et caractéristiques, comme un couteau et les ingrédients, ainsi que les bras, les mains et le visage du démonstrateur humain. Les recettes et les vidéos ont été converties en vecteurs et le robotic a effectué des opérations mathématiques sur les vecteurs pour déterminer la similitude entre une démonstration et un vecteur.
En identifiant correctement les ingrédients et les actions du chef humain, le robot pouvait déterminer laquelle des recettes était en cours de préparation. Le robot pourrait en déduire que si le démonstrateur humain tenait un couteau dans une key et une carotte dans l’autre, la carotte serait alors hachée.
Sur les 16 vidéos qu’il a visionnées, le robot a reconnu la bonne recette 93 % du temps, même s’il n’a détecté que 83 % des steps du chef humain. Le robot a également été capable de détecter que de légères variants dans une recette, comme faire une double portion ou une erreur humaine normale, étaient des versions et non une nouvelle recette. Le robot a également correctement reconnu la démonstration d’une nouvelle neuvième salade, l’a ajoutée à son livre de delicacies et l’a préparée.
“C’est incroyable la quantité de nuances que le robotic a pu détecter”, a déclaré Sochacki. “Ces recettes ne sont pas complexes – ce sont essentiellement des fruits et des légumes hachés, mais c’était vraiment efficace pour reconnaître, par exemple, que deux pommes hachées et deux carottes hachées sont la même recette que trois pommes hachées et trois carottes hachées. ”
Les vidéos utilisées pour former le chef robotic ne ressemblent pas aux vidéos culinaires réalisées par certains influenceurs des médias sociaux, qui sont pleines de coupes rapides et d’effets visuels, et font rapidement des allers-retours entre la personne qui prépare la nourriture et le plat qu’elle prépare.. Par exemple, le robot aurait du mal à identifier une carotte si le démonstrateur humain avait sa principal enroulée autour de celle-ci. Pour que le robot identifie la carotte, le démonstrateur humain devait tenir la carotte pour que le robotic puisse voir le légume entier.
“Notre robotic n’est pas intéressé par les forms de vidéos culinaires qui deviennent virales sur les réseaux sociaux – elles sont tout simplement trop difficiles à suivre”, a déclaré Sochacki. “Mais à mesure que ces chefs robots identifient de mieux en mieux les ingrédients dans les vidéos culinaires, ils pourront peut-être utiliser des web-sites comme YouTube pour apprendre toute une gamme de recettes.”
La recherche a été financée en partie par Beko plc et le Engineering and Bodily Sciences Analysis Council (EPSRC), qui fait partie de Uk Research and Innovation (UKRI).