Les dernières recherches sur l’IA de Nvidia faciliteront la création d’objets 3D à partir d’images 2D

nvidia mardi est Pour la première fois une nouvelle recherche au rendu 3D qui pourrait un jour permettre aux graphistes, architectes et autres créatifs de créer rapidement des modèles 3D à partir d’images 2D. C’est le genre de recherche qui aidera Nvidia et d’autres grandes entreprises à jeter les bases d’un métaverse accessible.

Rendre des mondes 3D est un défi technique complexe. Une technique connue sous le nom de rendu inverse consiste à reconstruire des scènes 3D à partir d’un ensemble d’images 2D. Il utilise l’intelligence artificielle pour se rapprocher du comportement de la lumière dans le monde réel.

nvidia récemment introduit Son travail avec Neural Radiation Fields (NeRF), qui utilise l’intelligence artificielle pour accélérer le processus de rendu inverse. L’inconvénient des modèles NeRF est qu’ils vous laissent avec des images que vous ne pouvez pas facilement modifier – ce qui n’est pas idéal pour un concepteur qui crée quelque chose de nouveau.

La nouvelle recherche Nvidia résout ce problème. La Nouveau pipeline Nvidia 3D MoMa Reconstruit des images avec trois fonctionnalités : modèle de grille 3D, textures et éclairage. Le modèle de grille 3D a été créé à partir de triangles. Les matériaux sont des matériaux 2D qui se superposent à un maillage 3D comme la peau. Enfin, le MoMa 3D estime la façon dont la scène est éclairée.

Le produit final est directement compatible avec les moteurs graphiques et les outils de modélisation que les créateurs utilisent déjà, ce qui signifie que les créateurs peuvent modifier et expérimenter leurs modèles – en modifiant les textures ou les effets d’éclairage.

Nvidia présente son pipeline de rendu inversé cette semaine à la Computer Vision and Pattern Recognition Conference à la Nouvelle-Orléans. Pour illustrer cela, les équipes de recherche et de création de Nvidia ont créé des modèles 3D d’instruments de groupes de jazz. Ils ont commencé avec 100 images chacune avec cinq outils différents. Après que le MoMa 3D ait créé des représentations réticulaires 3D de chacun, l’équipe a pris les modèles de leurs scènes d’origine et les a importés dans la plate-forme de simulation 3D Nvidia Omniverse pour l’édition.

Ils ont changé les matériaux des instruments, remplaçant le plastique d’origine du cor par d’autres matériaux tels que l’or et le bois. Ils ont ensuite démontré comment différents matériaux réfléchissent différemment la lumière.