- Des informaticiens de l'Université de Constance ont développé un modèle d'intelligence artificielle appelé "le marionnettiste neuronal" qui permet de représenter les mouvements intermédiaires des animaux à partir de leur pose et apparence.
- Le modèle utilise des silhouettes prédictives basées sur des points 3D pour représenter les séquences de mouvement des animaux. Il est capable de prédire les images de silhouette à partir de n'importe quelle perspective caméra et peut également déterminer les points squelettiques à partir d'images de silhouette.
- L'équipe teste actuellement le modèle sur différents animaux tels que les humains, pigeons, girafes et vaches, mais l'objectif à long terme est d'étendre son application à un maximum d'animaux sauvages afin d'acquérir de nouvelles connaissances sur leur comportement.
L’un des principaux problèmes de la vision par ordinateur est que les pictures sont incroyablement complexes. Une girafe peut prendre une très big gamme de poses. Lors d’un safari, ce n’est généralement pas un problème de manquer une partie d’une séquence de mouvement, mais, pour l’étude du comportement collectif, cette facts peut être critique. C’est là qu’interviennent les informaticiens avec le nouveau modèle “le marionnettiste neuronal”.
Silhouettes prédictives basées sur des points 3D
“Une idée en eyesight par ordinateur est de décrire l’espace très complexe des photos en n’encodant que le moins de paramètres attainable”, explique Bastian Goldlücke, professeur de vision par ordinateur à l’Université de Constance. Une représentation fréquemment utilisée jusqu’à présent est le squelette. Dans un nouvel short article publié dans les Actes de la 16e Conférence asiatique sur la vision par ordinateur, Bastian Goldlücke et les doctorants Urs Waldmann et Simon Giebenhain présentent un modèle de réseau neuronal qui permet de représenter des séquences de mouvement et de rendre l’apparence complète des animaux de n’importe quel stage de vue. sur quelques factors essentiels. La vue 3D est additionally malléable et précise que les modèles squelettes existants.
“L’idée était de pouvoir prédire les points clés 3D et aussi de pouvoir les suivre indépendamment de la texture”, explique le doctorant Urs Waldmann. “C’est pourquoi nous avons construit un système d’IA qui prédit les illustrations or photos de silhouette depuis n’importe quelle viewpoint de caméra en fonction de points clés 3D.” En inversant le processus, il est également achievable de déterminer des details squelettiques à partir d’images de silhouette. Sur la foundation des details clés, le système d’IA est able de calculer les étapes intermédiaires qui sont statistiquement probables. L’utilisation de la silhouette individuelle peut être importante. En effet, si vous ne travaillez qu’avec des points squelettiques, vous ne sauriez pas autrement si l’animal que vous regardez est assez massif ou proche de la famine.
Dans le domaine de la biologie notamment, il existe des programs à ce modèle : « Au Pôle d’Excellence ‘Centre for the Innovative Research of Collective Behaviour’, on constate que de nombreuses espèces différentes d’animaux sont traquées et qu’il faut aussi prédire les poses. dans ce contexte », déclare Waldmann.
Objectif à very long terme : appliquer le système à un utmost de données sur les animaux sauvages
L’équipe a commencé par prédire les mouvements de la silhouette des humains, des pigeons, des girafes et des vaches. Les humains sont souvent utilisés comme cas de examination en informatique, take note Waldmann. Ses collègues du Pôle d’Excellence travaillent avec des pigeons. Cependant, leurs fines griffes posent un véritable défi. Il y avait de bonnes données modèles pour les vaches, tandis que le cou extrêmement extensive de la girafe était un défi que Waldmann était impatient de relever. L’équipe a généré des silhouettes basées sur quelques details clés – de 19 à 33 en tout.
Maintenant, les informaticiens sont prêts pour l’application dans le monde réel : dans le Imaging Hanger de l’Université de Constance, son as well as grand laboratoire pour l’étude du comportement collectif, des données seront collectées à l’avenir sur les insectes et les oiseaux. Dans le hangar d’imagerie, il est as well as facile de contrôler les facets environnementaux tels que l’éclairage ou l’arrière-program que dans la character. Cependant, l’objectif à long terme est de previous le modèle pour autant d’espèces d’animaux sauvages que doable, afin d’acquérir de nouvelles connaissances sur le comportement des animaux.