Apple dévoile de nouveaux modèles d’IA promettant des avancées en photogrammétrie et assistance vidéo
Apple a récemment publié deux articles de recherche sur son blog d’apprentissage automatique, présentant des modèles d’intelligence artificielle (IA) qui pourraient révolutionner la photogrammétrie et le streaming vidéo. Ces innovations témoignent de l’engagement continu de la société dans le développement de technologies avancées.
Matrix 3D permet une amélioration de la photogrammétrie
Le premier modèle, intitulé Matrix3D, est une solution tout-en-un pour la photogrammétrie. Grâce à ce modèle, Apple simplifie considérablement le processus traditionnel qui nécessitait auparavant plusieurs étapes complexes. Dorénavant, il suffira que deux ou trois images soient fournies pour obtenir une reconstruction tridimensionnelle précise.
Traditionnellement, la photogrammétrie nécessite généralement une collection dense d’images, souvent des centaines, afin d’obtenir une reconstruction robuste. Au contraire, Matrix3D opère toutes les tâches nécessaires grâce à une architecture unique, réduisant ainsi les marges d’erreur.
La formation du modèle s’est appuyée sur ce qu’Apple appelle la stratégie d’apprentissage masquée, poussant ainsi le modèle à « remplir les blancs » lors du traitement des données. Avec cette technologie déjà intégrée au système Apple Vision Pro, les utilisateurs pourront transformer n’importe quelle image en un objet 3D.
Streambridge agit comme un « assistant de streaming proactif »
Le deuxième modèle présenté par l’entreprise est nommé Streambridge et se concentre sur les vidéos plutôt que sur les images fixes. Selon Apple, Streambridge permet de transposer « des films vidéo en modèles compatibles avec le streaming ». À l’inverse de nombreux autres systèmes qui traitent uniquement des vidéos préenregistrées, Streambridge offre une « compréhension en temps réel multi-informations » tout en générant des réponses adaptées aux contenus diffusés.
Ce modèle peut interagir avec des vidéos et répondre instantanément à diverses questions relatives aux événements présentés ou aux objets visibles dans celles-ci. De plus, il est capable d’émettre des conseils sans demande préalable : le modèle surveille activement le flux visuel. Par exemple : il fournit des instructions étape par étape à mesure que le dessin progresse sans être explicitement demandé, imitant un support pratique pendant l’utilisation.
Perspectives futures
Bien qu’aucune fonctionnalité spécifique n’ait encore été annoncée concernant ces modèles innovants dans les produits grand public futurs d’Apple, leur potentiel semble évident. Les capacités du système Streambridge soulèvent notamment la possibilité que Siri puisse véritablement évoluer vers un assistant abordable et interactif via diverses applications telles que celle dédiée à la caméra.
Quant au Matrix3D, on pourrait anticiper son application dans les prochaines versions améliorées du casque Apple Vision Pro ainsi que ses successeurs déjà envisagés par l’entreprise.
Ces développements récents renforcent non seulement la position dominante d’Apple dans l’univers technologique mais également offrent un aperçu intéressant sur ce que pourrait devenir l’interaction humaine avec les environnements numériques enrichis par IA.
