L'assemblage de vidéos de dizaines de caméras offre une vue 3D unique d'expériences macroscopiques avec des détails microscopiques

Lorsque quelques étudiants diplômés courageux ont pris la première photograph avec leur microscope assemblé, cela s’est avéré meilleur qu’ils ne l’avaient espéré. Bien sûr, il y avait un trou dans une segment et une autre était à l’envers – mais ils pouvaient toujours trouver Waldo.

Le lendemain, le duo a résolu ses problèmes logiciels et a fait la démonstration d’un dispositif de preuve de principe réussi sur le livre de puzzle classique pour enfants. En combinant 24 caméras de smartphone en une seule plate-forme et en assemblant leurs illustrations or photos, ils ont créé une seule caméra capable de prendre des images gigapixels sur une zone de la taille d’une feuille de papier.

Six ans, plusieurs itérations de conception et une begin-up moreover tard, les chercheurs ont fait une découverte inattendue. Perfectionner le processus d’assemblage de dizaines de caméras individuelles avec une résolution sous-pixel leur a permis de voir simultanément la hauteur des objets.

“C’est comme la vision humaine”, a déclaré Roarke Horstmeyer, professeur adjoint de génie biomédical à l’Université Duke. “Si vous fusionnez plusieurs details de vue ensemble (comme le font vos deux yeux), vous voyez des objets sous des angles différents, ce qui vous donne de la hauteur. Lorsque nos collègues étudiant le poisson zèbre l’ont utilisé pour la première fois, ils ont été époustouflés. Cela a immédiatement révélé de nouveaux comportements impliquant hauteur et profondeur qu’ils n’avaient jamais vues auparavant.”

Dans un short article publié en ligne le 20 mars dans Nature Photonics, Horstmeyer et ses collègues montrent les capacités de leur nouveau microscope gigapixel 3D à grande vitesse appelé Microscope multicaméra (MCAM). Qu’il s’agisse d’enregistrer des movies en 3D du comportement de dizaines de poissons zèbres nageant librement ou de l’activité de toilettage des mouches des fruits avec des détails proches du niveau cellulaire sur un très big champ de eyesight, l’appareil ouvre de nouvelles possibilités aux chercheurs du monde entier. La dernière model de MCAM repose sur 54 objectifs avec une vitesse et une résolution as well as élevées que le prototype qui a trouvé Waldo. S’appuyant sur des travaux récents réalisés en étroite collaboration avec le laboratoire du Dr Eva Naumann à Duke, un logiciel innovant donne au microscope la possibilité de prendre des mesures 3D, de fournir in addition de détails à des échelles moreover petites et de réaliser des films furthermore fluides.

La conception hautement parallélisée du MCAM crée cependant ses propres défis de traitement des données, car or truck quelques minutes d’enregistrement peuvent produire moreover d’un téraoctet de données. “Nous avons développé de nouveaux algorithmes capables de gérer efficacement ces ensembles de données vidéo extrêmement volumineux”, a déclaré Kevin C. Zhou, chercheur postdoctoral au laboratoire de Horstmeyer et auteur principal de l’article. “Nos algorithmes associent la physique à l’apprentissage automatique pour fusionner les flux vidéo de toutes les caméras et récupérer des informations comportementales 3D dans l’espace et dans le temps. Nous avons rendu notre code open up resource sur Github pour que tout le monde puisse l’essayer.”

À l’Université de Californie à San Francisco, Matthew McCarroll observe le comportement des poissons zèbres exposés à des médicaments neuroactifs. En recherchant les changements de comportement dus à différentes lessons de médicaments, les chercheurs peuvent découvrir de nouveaux traitements potentiels ou mieux comprendre ceux qui existent déjà.

Dans le journal, McCarroll et son groupe décrivent des mouvements intéressants qu’ils n’avaient jamais vus auparavant grâce à l’utilisation de cet appareil image. Les capacités 3D du MCAM, associées à sa vue globale, leur ont permis d’enregistrer les différences de pas des poissons, qu’ils se dirigent vers le haut ou le bas de leurs réservoirs et remark ils ont suivi les proies.

“Nous construisons depuis longtemps nos propres plates-formes avec des objectifs simples et des caméras, qui ont bien fonctionné pour nos besoins, mais c’est à un tout autre niveau”, a déclaré McCarroll, un scientifique indépendant étudiant la chimie pharmaceutique dans la série de chercheurs professionnels du système UC.. “Nous ne sommes que des biologistes qui bricolent avec l’optique. C’est incroyable de voir ce qu’un physicien légitime peut proposer pour améliorer nos expériences.”

A Duke, le laboratoire de Michel Bagnat, professeur de biologie cellulaire, travaille aussi avec le poisson zèbre. Mais plutôt que de surveiller les changements de comportement induits par les médicaments, les chercheurs étudient remark les animaux se développent d’un œuf à un adulte entièrement formé au niveau cellulaire.

Dans des études précédentes, les chercheurs devaient anesthésier et monter les poissons en développement pour les maintenir stables pendant que les mesures étaient prises avec des lasers. Mais les assommer pendant des périodes prolongées pourrait également entraîner des changements dans leur développement qui pourraient fausser les résultats de l’expérience. Avec l’aide du nouveau MCAM, les chercheurs ont montré qu’ils sont capables d’obtenir toutes ces mesures pendant que les poissons vivent leur vie sans encombre, sans KO ni pinces nécessaires.

“Avec les capacités d’imagerie 3D et fluorescente de ce microscope, cela pourrait changer le cours de la façon dont de nombreux biologistes du développement font leurs expériences”, a déclaré Jennifer Bagwell, chercheuse scientifique et responsable de laboratoire au laboratoire de Bagnat. “Surtout s’il s’avère que l’anesthésie des poissons affecte leur développement, ce que nous étudions en ce minute.”

En furthermore de suivre des communautés entières de petits animaux tels que le poisson zèbre dans des expériences, Horstmeyer espère que ce travail permettra également des études parallèles automatisées as well as importantes. Par exemple, le microscope peut observer une plaque de 384 puits chargés d’une variété d’organoïdes pour tester les réactions pharmaceutiques potentielles, enregistrer les réponses cellulaires de chaque petite expérience et signaler de manière autonome tout résultat intéressant.

“Le laboratoire moderne devient de plus en furthermore automatisé chaque jour, avec de grandes plaques de puits remplies et entretenues sans jamais toucher une most important humaine”, a déclaré Horstmeyer. “Le volume considérable de données crée des demandes pour de nouvelles systems qui peuvent aider à automatiser le suivi et la capture des résultats.”

Horstmeyer a lancé une start off-up appelée Ramona Optics pour commercialiser la technologie. L’un de ses premiers concédants de licence, MIRA Imaging, utilise la technologie pour “empreintes digitales” des beaux-arts, des objets de collection et des produits de luxe pour se protéger contre la contrefaçon et la fraude.