Mélanie Thomas
Le cloud gaming, qui consiste à jouer à un jeu vidéo à length depuis le cloud, a connu une croissance sans précédent lors des confinements et des pénuries de matériel de jeu survenus au cœur de la pandémie de Covid-19. Aujourd’hui, cette industrie en plein essor englobe un marché mondial de 6 milliards de bucks et in addition de 23 millions d’acteurs dans le monde.
Cependant, la synchronisation entre appareils reste un problème persistant dans le cloud gaming et dans le domaine plus large des réseaux. Dans le cloud gaming, les retours vidéo, audio et haptiques sont diffusés depuis une source centrale vers plusieurs appareils, tels que l’écran et la manette d’un joueur, qui fonctionnent généralement sur des réseaux distincts. Ces réseaux ne sont pas synchronisés, ce qui entraîne un décalage entre ces deux flux distincts. Un joueur peut voir quelque chose se produire sur l’écran, puis l’entendre sur sa manette une demi-seconde in addition tard.
Inspirés par ce problème, des scientifiques du MIT et de Microsoft Investigate ont adopté une approche unique pour synchroniser les flux transmis vers deux appareils. Leur système, appelé Ekho, ajoute des séquences de bruit blanc inaudibles à l’audio du jeu diffusé depuis le serveur cloud. Ensuite, il écoute ces séquences dans l’audio enregistré par le contrôleur du lecteur.
Ekho utilise la disparité entre ces séquences de bruit pour mesurer et compenser en continu le délai entre flux.
Lors de véritables classes de cloud gaming, les chercheurs ont montré qu’Ekho est très fiable. Le système peut maintenir les flux synchronisés à moins de 10 millisecondes les uns des autres, la plupart du temps. D’autres méthodes de synchronisation entraînaient des retards constants de plus de 50 millisecondes.
Et même si Ekho a été conçu pour le cloud gaming, cette method pourrait être utilisée furthermore largement pour synchroniser les flux multimédias transmis vers différents appareils, par exemple dans des predicaments de formation utilisant plusieurs casques de réalité augmentée ou virtuelle.
“Parfois, pour qu’une bonne resolution émerge, il suffit de penser en dehors de ce qui a été défini pour vous. Toute la communauté a été déterminée à résoudre ce problème en se synchronisant by using le réseau. Synchroniser deux flux en écoutant l’audio dans la pièce semblait fou, mais cela s’est avéré être une très bonne answer”, déclare Pouya Hamadanian, étudiant diplômé en génie électrique et informatique (EECS) et auteur principal d’un posting décrivant Ekho.
Hamadanian est rejoint sur le papier par Doug Gallatin, développeur de logiciels chez Microsoft Mohammad Alizadeh, professeur agrégé de génie électrique et d’informatique et membre du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) et l’auteur principal Krishna Chintalapudi, chercheur principal chez Microsoft Investigation. L’article sera présenté à la conférence ACM SIGCOMM.
Hors de l’horloge
Au cœur du retard entre flux dans le cloud gaming se trouve un problème fondamental de mise en réseau connu sous le nom de synchronisation d’horloge.
“Si le contrôleur et l’écran pouvaient regarder leur montre et voir en même temps la même chose, alors nous pourrions tout synchroniser avec l’horloge. Mais de nombreux travaux théoriques sur la synchronisation de l’horloge montrent qu’il existe certaines limites que l’on ne peut jamais dépasser. “, dit Hamadanian.
De nombreuses approches tentent de synchroniser l’horloge par messagerie ping-pong, où un appareil envoie un information ping au serveur, qui renvoie un information pong. L’appareil compte le temps nécessaire au retour du information et réduit cette valeur de moitié pour calculer le délai du réseau.
Mais le chemin sur le réseau est probablement asymétrique, de sorte que le concept peut prendre furthermore de temps pour atteindre le serveur que pour le concept de retour. Par conséquent, cette méthode n’est pas fiable et peut introduire des centaines de millisecondes d’erreur. Les humains peuvent généralement percevoir le délai entre les flux lorsqu’il atteint 10 millisecondes.
“Donc, si quelque chose se produit à l’écran, nous voulons que cela se produise également sur le contrôleur dans les 10 millisecondes”, explique Hamadanian.
Lui et ses collaborateurs ont décidé d’essayer d’écouter l’audio du jeu pour synchroniser ces flux séparés.
Dans le cloud gaming, le microphone de la manette du joueur enregistre le son de la pièce, y compris le son du jeu diffusé par les haut-parleurs de l’écran, qu’il renvoie au serveur. Mais son utilisation pour la synchronisation n’est pas fiable car le son de la pièce contient du bruit de fond.
Ils ont donc conçu Ekho pour ajouter des séquences identiques de bruit blanc de quantity extrêmement faible, appelé pseudo-bruit, à l’audio du jeu avant qu’il ne soit diffusé sur l’écran du joueur. Il utilise ces segments de pseudo-bruit pour la synchronisation.
Avant de créer Ekho, les chercheurs ont mené une étude auprès des utilisateurs pour prouver que les joueurs ne pouvaient pas entendre le pseudo-bruit dans l’audio du jeu. Ces séquences de bruit résistent également à la compression, ce qui est vital car l’audio envoyé depuis le contrôleur est fortement compressé pour accélérer le transfert de données.
Pseudo bruit, vraie réussite
Le module Ekho-Estimator ajoute des séquences de pseudo-bruit à l’audio du jeu. Lorsqu’il reçoit l’audio du jeu enregistré du contrôleur, il écoute ces marqueurs et essaie d’aligner les flux. Cela lui permet de calculer précisément le délai inter-flux.
L’Ekho-Estimator envoie ces informations au module Ekho-Compensator, qui soit saute quelques millisecondes de son, soit ajoute quelques millisecondes de silence à l’audio du jeu envoyé par le serveur, ce qui synchronise les flux.
Ils ont testé Ekho sur de véritables periods de streaming cloud et ont constaté qu’il était supérieur aux autres méthodes de synchronisation, même lorsque la qualité du microphone était médiocre ou que le bruit de fond était capté par l’enregistrement.
Ekho a limité le délai entre les flux à moins de 10 millisecondes pendant près de 87 % du temps pendant les flux. Aucune autre méthode testée par l’équipe n’a permis de réduire ce délai à moins de 50 millisecondes.
“La manière traditionnelle de procéder, qui consiste à essayer de mesurer l’erreur de synchronisation à l’aide du réseau sous-jacent, les erreurs sont nettement as well as importantes. Lorsque nous avons démarré ce projet, nous n’étions pas sûrs que cela puisse même être fait. Mais la précision que nous pouvons obtenir Si nous parlons d’Ekho, à des niveaux inférieurs à la milliseconde, c’est du jamais vu”, déclare Chintalapudi.
Impressionnés par ces résultats, les chercheurs souhaitent voir dans quelle mesure Ekho se comporte dans des conditions additionally complexes, telles que la synchronisation de cinq contrôleurs sur le même écran. De in addition, comme Ekho était destiné aux jeux en nuage, sa portée est limitée. Les travaux futurs pourraient chercher à améliorer Ekho afin qu’il puisse synchroniser les appareils aux deux extrémités d’une très grande pièce, comme une salle de concert.
« Utiliser un bruit blanc inaudible comme une sorte de « chronomètre » est un excellent exemple de la façon dont une pensée originale peut produire des résultats inattendus », explique Alizadeh. “Cette approach pourrait améliorer l’expérience utilisateur, non seulement dans le cloud gaming, mais potentiellement dans tout scénario de streaming multi-appareils.”
