in

Une nouvelle technique d'enregistrement et d'analyse des ondes acoustiques de surface peut permettre à presque n'importe quel objet d'agir comme un dispositif d'entrée tactile et d'alimenter des systèmes de détection sensibles à la confidentialité

Les canapés, les tables, les pochettes et plus encore peuvent se transformer en un périphérique d’entrée haute fidélité pour les ordinateurs à l’aide d’un nouveau système de détection développé à l’Université du Michigan.

Le système réutilise la technologie des nouveaux microphones à conduction osseuse, connus sous le nom d’unités de prise de voix (VPU), qui détectent uniquement les ondes acoustiques qui se déplacent le very long de la area des objets. Il fonctionne dans des environnements bruyants, le extensive de géométries étranges telles que des jouets et des bras, et sur des tissus doux tels que des vêtements et des meubles.

Appelé SAWSense, pour les ondes acoustiques de floor sur lesquelles il s’appuie, le système reconnaît différentes entrées, telles que les tapotements, les rayures et les balayages, avec une précision de 97 %. Dans une démonstration, l’équipe a utilisé une desk normale pour remplacer le pavé tactile d’un ordinateur moveable.

“Cette technologie va vous permettre de traiter, par exemple, toute la floor de votre corps comme une surface interactive”, explique Yasha Iravantchi, doctorante UM en informatique et ingénierie. “Si vous mettez l’appareil sur votre poignet, vous pouvez faire des gestes sur votre propre peau. Nous avons des résultats préliminaires qui démontrent que c’est tout à fait faisable.”

Les tapotements, balayages et autres gestes envoient des ondes acoustiques le very long des surfaces des matériaux. Le système classe ensuite ces ondes avec l’apprentissage automatique pour transformer tout make contact with en un ensemble robuste d’entrées. Le système a été présenté la semaine dernière à la Conférence 2023 sur les facteurs humains dans les systèmes informatiques, où il a reçu le prix du meilleur short article.

Alors que de in addition en additionally d’objets continuent d’intégrer une technologie intelligente ou connectée, les concepteurs sont confrontés à un sure nombre de défis lorsqu’ils tentent de leur donner des mécanismes de saisie intuitifs. Cela entraîne de nombreuses incorporations maladroites de méthodes de saisie telles que des écrans tactiles, ainsi que des boutons mécaniques et capacitifs, explique Iravantchi. Les écrans tactiles peuvent être trop coûteux pour permettre des entrées gestuelles sur de grandes surfaces comme les comptoirs et les réfrigérateurs, tandis que les boutons ne permettent qu’un seul kind d’entrée à des emplacements prédéfinis.

Les approches passées pour surmonter ces restrictions incluaient l’utilisation de microphones et de caméras pour les entrées audio et gestuelles, mais les auteurs affirment que des strategies comme celles-ci ont une utilité limitée dans le monde réel.

“Lorsqu’il y a beaucoup de bruit de fond ou que quelque selected s’interpose entre l’utilisateur et la caméra, les entrées gestuelles audio et visuelles ne fonctionnent pas bien”, a déclaré Iravantchi.

Pour surmonter ces restrictions, les capteurs alimentant SAWSense sont logés dans une chambre hermétiquement fermée qui bloque complètement les bruits ambiants même très forts. La seule entrée se fait par un système masse-ressort qui conduit les ondes acoustiques de area à l’intérieur du boîtier sans jamais entrer en contact avec les sons de l’environnement environnant. Lorsqu’il est combiné avec le logiciel de traitement du sign de l’équipe, qui génère des caractéristiques à partir des données avant de les alimenter dans le modèle d’apprentissage automatique, le système peut enregistrer et classer les événements le very long de la floor d’un objet.

“Il existe d’autres moyens de détecter les vibrations ou les ondes acoustiques de surface area, comme les capteurs piézo-électriques ou les accéléromètres”, a déclaré Alanson Sample, professeur agrégé de génie électrique et d’informatique à l’UM, “mais ils ne peuvent pas capturer la large gamme de fréquences. que nous devons faire la différence entre un coup et une égratignure, par exemple.”

La haute fidélité des VPU permet à SAWSense d’identifier un big éventail d’activités sur une surface area au-delà des événements tactiles de l’utilisateur. Par exemple, un VPU sur un comptoir de cuisine peut détecter le hachage, le brassage, le mélange ou le fouettage, ainsi que l’identification des appareils électroniques en cours d’utilisation tels qu’un mélangeur ou un 4 à micro-ondes.

“Les VPU font un bon travail de détection des activités et des événements qui se produisent dans une zone bien définie”, a déclaré Iravantchi. “Cela permet la fonctionnalité fournie avec un objet smart sans les problèmes de confidentialité d’un microphone normal qui détecte toute la pièce, par exemple.”

Lorsque plusieurs VPU sont utilisés en combinaison, SAWSense peut activer des entrées plus spécifiques et sensibles, en particulier celles qui nécessitent une sensation d’espace et de distance comme les touches d’un clavier ou les boutons d’une télécommande.

De as well as, les chercheurs explorent l’utilisation des VPU pour la détection médicale, y compris la détection de bruits délicats tels que les bruits des articulations et des tissus conjonctifs lorsqu’ils se déplacent. Les données audio haute fidélité fournies par les VPU pourraient permettre des analyses en temps réel sur la santé d’une personne, explique Sample.

La recherche est partiellement financée par Meta Platforms Inc.

L’équipe a déposé une demande de defense par brevet avec l’aide d’UM Innovation Partnerships et recherche des partenaires pour mettre la technologie sur le marché.