Des chercheurs du MIT présentent un nouveau système de vision par ordinateur qui transforme n’importe quel objet brillant en une sorte de caméra : permettant à l’observateur de voir dans les coins ou derrière les obstacles.

Des informations précieuses et souvent cachées sur l’environnement immédiat d’une personne peuvent être obtenues à partir de la réflexion de l’objet. En les transformant en caméras, on peut réaliser des exploits auparavant inimaginables, comme regarder à travers les murs ou dans le ciel. Ceci est difficile car de nombreux facteurs influencent les réflexions, notamment la géométrie de l’objet, les propriétés des matériaux, l’environnement 3D et le point de vue de l’observateur. En déconstruisant la géométrie d’un objet et en l’éclairant intérieurement à partir du rayonnement spéculaire qui s’y réfléchit, les humains peuvent tirer des indices et des inférences profonds sur les parties enveloppées de l’environnement environnant.

Des chercheurs en vision par ordinateur du MIT et de Rice ont développé un moyen d’utiliser les réflexions pour produire des images de l’environnement réel. Utilisant les reflets, ils transforment des objets brillants en « caméras », donnant l’impression que l’utilisateur regarde le monde à travers les « lentilles » d’objets courants tels qu’une tasse à café en céramique ou un presse-papiers en métal.

La méthode utilisée par les chercheurs consiste à transformer des objets lumineux de géométrie indéfinie en caméras à champ de rayonnement. L’idée principale est d’utiliser la surface de l’objet comme un capteur numérique pour enregistrer la lumière réfléchie par l’environnement environnant en deux dimensions.

Les chercheurs expliquent que la nouvelle synthèse de vue présente de nouvelles perspectives qui ne sont visibles que directement par l’objet lumineux de la scène mais pas par l’observateur, grâce à la restauration des champs de rayonnement de l’environnement. De plus, nous pouvons imaginer des agglodrats générés par des objets proches dans la scène en utilisant le champ de rayonnement. La méthode développée par les chercheurs est enseignée de bout en bout en utilisant plusieurs photographies de l’objet pour estimer simultanément sa géométrie, son rayonnement diffus et le champ de rayonnement de son environnement 5D.

La recherche vise à séparer l’objet de son reflet afin que l’objet « voit » le monde comme s’il s’agissait d’un appareil photo et enregistre son environnement. La vision par ordinateur a lutté avec les réflexions pendant un certain temps car elles sont une représentation 2D déformée d’une scène 3D de forme inconnue.

Les chercheurs modélisent la surface de l’objet comme un capteur virtuel et collectent la projection bidimensionnelle du champ de rayonnement de l’environnement 5D autour de l’objet pour créer une représentation tridimensionnelle du monde tel qu’il est vu par l’objet. La majeure partie du champ de rayonnement de l’environnement est bloquée, sauf par les réflexions de l’objet. Au-delà du champ de vision, la synthèse de l’affichage du roman, ou la présentation de nouvelles perspectives qui ne sont directement visibles que pour l’objet lumineux de la scène mais pas pour l’observateur, est rendue possible grâce à l’utilisation des champs de rayonnement de l’environnement, qui permettent également pour l’estimation de la profondeur et de la luminosité de l’objet à son environnement.

En bref, l’équipe a fait ce qui suit :

• Ils montrent comment des surfaces tacites peuvent être transformées en capteurs virtuels avec la possibilité de prendre des images 3D de leur environnement en utilisant uniquement des cônes virtuels.
• Ensemble, ils calculent le champ de rayonnement environnant 5D de l’objet et estiment son rayonnement diffus.
• Ils montrent comment utiliser le champ lumineux de l’environnement environnant pour générer de nouvelles perspectives invisibles à l’œil humain.

Ce projet vise à reconstituer le champ de rayonnement en cinq dimensions de l’océan à partir de nombreuses photographies d’un élément brillant de forme et d’albédo inconnus. L’éblouissement des surfaces réfléchissantes révèle des éléments d’une scène en dehors du champ de vision. Plus précisément, les règles de surface et la courbure de l’objet lumineux déterminent la façon dont les images de l’observateur sont mappées sur le monde réel.

Les chercheurs peuvent avoir besoin d’informations plus précises sur la forme de l’objet ou de la réalité réfléchie, ce qui contribue à la distorsion. Il est également possible que la couleur et la texture d’un objet brillant se confondent avec les reflets. De plus, il n’est pas facile de discerner la profondeur dans les scènes réfléchies car les réflexions sont des projections bidimensionnelles d’un environnement tridimensionnel.

L’équipe de chercheurs a surmonté ces obstacles. Ils commencent par photographier l’objet brillant sous différents angles, capturant une variété de reflets. Orca (Objects Like Radiance-Field Cameras) est l’acronyme de leur processus en trois étapes.

Orca peut enregistrer des réflexions multi-vues en imageant l’objet sous différents angles, qui sont ensuite utilisés pour estimer la profondeur entre l’objet lumineux et les autres objets de la scène et la forme de l’objet lumineux lui-même. Plus d’informations sur la force et la direction des rayons lumineux provenant de et frappant chaque point de l’image sont capturées par le modèle de champ de rayonnement 5D d’ORCa. Orca peut faire des estimations de profondeur plus précises grâce aux données de ce champ de rayonnement 5D. Étant donné que la scène est rendue sous la forme d’un champ de rayonnement 5D plutôt que d’une image 2D, l’utilisateur peut voir des détails qui seraient obscurcis par des angles ou d’autres obstacles. Les chercheurs expliquent qu’une fois qu’ORCa a collecté le champ de rayonnement 5D, l’utilisateur peut placer une caméra virtuelle n’importe où dans la zone et créer l’image synthétique que la caméra produira. L’utilisateur peut également changer l’apparence d’un objet, par exemple de la céramique au métal, ou incorporer des objets virtuels dans la scène.

En étendant la définition du champ de rayonnement au-delà du champ de rayonnement traditionnel en ligne de visée, les chercheurs peuvent ouvrir de nouvelles voies pour étudier l’environnement et les objets qui s’y trouvent. En utilisant des largeurs et des profondeurs virtuelles projetées, le travail peut ouvrir des possibilités d’insertion d’objets virtuels et de perception 3D, telles que l’extrapolation d’informations provenant de l’extérieur du champ de vision de la caméra.

scanner le papier Et Page du projet. N’oubliez pas de rejoindre 22k + ML Sub RedditEt canal de discordeEt Et Courriel, où nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore. Si vous avez des questions concernant l’article ci-dessus ou si nous avons oublié quelque chose, n’hésitez pas à nous envoyer un e-mail à Asif@marktechpost.com

🚀 Découvrez les outils d’IA de 100 dans le club d’outils d’IA