Des chercheurs du MIT ont construit un casque de réalité augmentée qui donne au porteur une vision aux rayons X.
Le casque merge la eyesight par ordinateur et la perception sans fil pour localiser automatiquement un élément spécifique caché à la vue, peut-être à l’intérieur d’une boîte ou sous une pile, puis guider l’utilisateur pour le récupérer.
Le système utilise des signaux de radiofréquence (RF), qui peuvent traverser des matériaux courants tels que des boîtes en carton, des conteneurs en plastique ou des séparateurs en bois, pour trouver des objets cachés qui ont été étiquetés avec des étiquettes RFID, qui reflètent les signaux envoyés par une antenne RF.
Le casque dirige le porteur lorsqu’il traverse une pièce vers l’emplacement de l’objet, qui apparaît sous la forme d’une sphère transparente dans l’interface de réalité augmentée (RA). Une fois l’objet dans la most important de l’utilisateur, le casque, appelé X-AR, vérifie qu’il a saisi le bon objet.
Lorsque les chercheurs ont testé X-AR dans un environnement de type entrepôt, le casque pouvait localiser les objets cachés à moins de 9,8 centimètres, en moyenne. Et il a vérifié que les utilisateurs ont choisi le bon report avec une précision de 96 %.
X-AR pourrait aider les employés des entrepôts de commerce électronique à trouver rapidement des articles or blog posts sur des étagères encombrées ou enterrés dans des boîtes, ou en identifiant l’article actual d’une commande lorsque de nombreux objets similaires se trouvent dans le même bac. Il pourrait également être utilisé dans une usine de fabrication pour aider les techniciens à localiser les bonnes pièces pour assembler un produit.
“Notre objectif avec ce projet était de construire un système de réalité augmentée qui vous permette de voir des choses qui sont invisibles – des choses qui sont dans des boîtes ou dans des coins – et ce faisant, il peut vous guider vers eux et vous permettre vraiment voir le monde physique d’une manière qui n’était pas probable auparavant », déclare Fadel Adib, professeur agrégé au Département de génie électrique et d’informatique, directeur du groupe Sign Kinetics au Media Lab et auteur principal de un post sur X-AR.
Les co-auteurs d’Adib sont les assistants de recherche Tara Boroushaki, qui est l’auteur principal de l’article Maisy Lam Laura Dodds et l’ancienne postdoc Aline Eid, qui est maintenant professeure adjointe à l’Université du Michigan. La recherche sera présentée au Symposium USENIX sur la conception et la mise en œuvre de systèmes en réseau.
Augmenter un casque AR
Pour créer un casque de réalité augmentée avec vision par rayons X, les chercheurs ont d’abord dû équiper un casque existant d’une antenne able de communiquer avec des objets étiquetés RFID. La plupart des systèmes de localisation RFID utilisent plusieurs antennes distantes de plusieurs mètres, mais les chercheurs avaient besoin d’une antenne légère capable d’atteindre une bande passante suffisamment élevée pour communiquer avec les étiquettes.
“L’un des grands défis consistait à concevoir une antenne qui s’adapterait au casque sans couvrir aucune des caméras ni gêner ses opérations. Cela compte beaucoup, automobile nous devons utiliser toutes les spécifications de la visière”, explique Eid.
L’équipe a pris une antenne cadre basic et légère et a expérimenté en effilant l’antenne (en modifiant progressivement sa largeur) et en ajoutant des espaces, deux approaches qui augmentent la bande passante. Étant donné que les antennes fonctionnent généralement à l’air libre, les chercheurs l’ont optimisé pour envoyer et recevoir des signaux lorsqu’ils sont fixés à la visière du casque.
Une fois que l’équipe a construit une antenne efficace, elle s’est concentrée sur son utilisation pour localiser les content étiquetés RFID.
Ils ont exploité une technique connue sous le nom de radar à synthèse d’ouverture (SAR), qui est similaire à la façon dont les avions imagent les objets au sol. X-AR prend des mesures avec son antenne à partir de différents points de vue lorsque l’utilisateur se déplace dans la pièce, puis il blend ces mesures. De cette façon, il agit comme un réseau d’antennes où les mesures de plusieurs antennes sont combinées pour localiser un appareil.
X-AR utilise les données visuelles de la capacité d’auto-suivi du casque pour créer une carte de l’environnement et déterminer son emplacement dans cet environnement. Au fur et à mesure que l’utilisateur marche, il calcule la probabilité de l’étiquette RFID à chaque emplacement. La probabilité sera la moreover élevée à l’emplacement actual de la balise, elle utilise donc ces informations pour se concentrer sur l’objet caché.
“Bien que cela représentait un défi lors de la conception du système, nous avons constaté dans nos expériences qu’il fonctionnait bien avec le mouvement humain naturel. Parce que les humains se déplacent beaucoup, cela nous permet de prendre des mesures à partir de nombreux endroits différents et de localiser avec précision un posting », dit Dodds.
Une fois que X-AR a localisé l’objet et que l’utilisateur le récupère, le casque doit vérifier que l’utilisateur a saisi le bon objet. Mais maintenant, l’utilisateur est immobile et l’antenne du casque ne bouge pas, il ne peut donc pas utiliser le SAR pour localiser la balise.
Cependant, lorsque l’utilisateur prend l’article, l’étiquette RFID se déplace avec lui. X-AR peut mesurer le mouvement de l’étiquette RFID et tirer parti de la capacité de suivi manuel du casque pour localiser l’article dans la most important de l’utilisateur. Ensuite, il vérifie que l’étiquette envoie les bons signaux RF pour vérifier qu’il s’agit du bon objet.
Les chercheurs ont utilisé les capacités de visualisation holographique du casque pour afficher ces informations de manière easy pour l’utilisateur. Une fois que l’utilisateur satisfied le casque, il utilise des menus pour sélectionner un objet dans une base de données d’éléments étiquetés. Une fois l’objet localisé, il est entouré d’une sphère transparente afin que l’utilisateur puisse voir où il se trouve dans la pièce. Ensuite, l’appareil projette la trajectoire vers cet élément sous la forme de pas sur le sol, qui peuvent se mettre à jour dynamiquement au fur et à mesure que l’utilisateur marche.
“Nous avons fait abstraction de tous les factors approaches afin de pouvoir offrir une expérience transparente et claire à l’utilisateur, ce qui serait particulièrement critical si quelqu’un devait mettre cela dans un environnement d’entrepôt ou dans une maison intelligente”, explique Lam.
Tester le casque
Pour tester X-AR, les chercheurs ont créé un entrepôt simulé en remplissant des étagères avec des boîtes en carton et des bacs en plastique, et en plaçant des content articles étiquetés RFID à l’intérieur.
Ils ont constaté que X-AR peut guider l’utilisateur vers un élément ciblé avec moins de 10 centimètres d’erreur, ce qui signifie qu’en moyenne, l’élément était situé à moins de 10 centimètres de l’endroit où X-AR dirigeait l’utilisateur. Les méthodes de foundation testées par les chercheurs avaient une erreur médiane de 25 à 35 centimètres.
Ils ont également constaté qu’il vérifiait correctement que l’utilisateur avait choisi le bon short article 98,9 % du temps. Cela signifie que X-AR est capable de réduire les erreurs de prélèvement de 98,9 %. Il était même précis à 91,9% lorsque l’article était encore à l’intérieur d’une boîte.
Maintenant qu’ils ont démontré le succès de X-AR, les chercheurs prévoient d’explorer comment différentes modalités de détection, comme le WiFi, la technologie mmWave ou les ondes térahertz, pourraient être utilisées pour améliorer ses capacités de visualisation et d’interaction. Ils pourraient également améliorer l’antenne afin que sa portée puisse aller au-delà de 3 mètres et étendre le système pour une utilisation par plusieurs casques coordonnés.
“Parce qu’il n’existe rien de tel aujourd’hui, nous avons dû trouver comment construire un tout nouveau style de système du début à la fin”, explique Adib. “En réalité, ce que nous avons proposé est un cadre. Il existe de nombreuses contributions tactics, mais c’est aussi un modèle pour la conception d’un casque AR avec eyesight par rayons X à l’avenir.”
Vidéo : https://youtu.be/bdUN21ft7G0