Apple met plus de pièces du puzzle futuriste du casque AR

Cette histoire fait partie WWDC 2022Couverture complète de CNET sur et à propos de la conférence annuelle des développeurs Apple.

Quiconque suit Apple Dernière conférence des développeurs Pour des nouvelles de son site tant attendu Casque AR/VR Il a dû être déçu. L’événement avait des nouvelles de MacEt le IPADEt le IphoneEt le Montre Applemaison intelligente et même voituresmais n’évoquaient presque jamais la réalité augmentée.

Après des rapports de retards, Apple pourrait ne pas finir par sortir ce casque Jusqu’en 2023. Cela pourrait signifier une autre année d’attente… ou cela pourrait signifier un événement plus tard cette année pour montrer ce qui est à venir. À l’heure actuelle, nous avons beaucoup d’inconnues, mais cela ne signifie pas qu’il n’y a pas de nouveaux guides et logiciels qui semblent être très utiles pour un casque à venir.

Apple dispose déjà d’un ensemble bien développé de Outils de réalité augmentée Pour iPhone et iPad, détection de profondeur Numériseurs LiDAR Il peut créer les types de « réseaux » virtuels dont les casques de réalité virtuelle et de réalité augmentée ont besoin pour superposer de manière convaincante des objets virtuels. Il existe un ensemble d’outils qui reconnaître Texte et objets provenant de flux de caméra, tels que Google Lens. Même l’Apple Watch met l’accent sur l’accessibilité Reconnaissance gestuelle.

Ce que la WWDC 2022 a montré, ce sont quelques améliorations que plus j’y pensais, il semblait qu’elles étaient censées jeter des bases supplémentaires avant l’arrivée du casque.

FaceTime et Messages : des outils pour le métaverse d’Apple ?

Comme les entreprises ont joué un rôle central dans la messagerie métaverse au cours de l’année écoulée, cela a généralement été le symbole d’une refonte des interactions sociales sur les plateformes à grande échelle. « Social » est une chose étrange pour Apple, qui n’est pas une entreprise qui se concentre sur les réseaux sociaux comme Meta, Snap ou Niantic.

Apple a déjà FaceTime et Messages, qui forment un réseau privé sur les appareils Apple qui peuvent servir de colle pour se connecter avec des personnes sur des écouteurs. Une pomme PartagerPlay Le cadre, qui a été introduit dans iOS 15 pour 2021, tente de collaborer et de regarder/lire du contenu avec d’autres pour se sentir plus rapidement. SharePlay se développe dans iOS 16. Une grande partie de cela ressemble au genre de colle dont les ambitions métavers d’Apple ont besoin.

Apple a déjà des avatars Memoji, mais Apple ajoute de plus en plus d’outils de partage qui connectent des applications et du contenu collaboratif via Messages et FaceTime. Ces fonctionnalités ajoutées dans iOS 16, iPadOS 16 et macOS Ventura peuvent faciliter le partage, mais sur un casque, elles peuvent être des raccourcis essentiels pour communiquer rapidement avec les autres. Le casque Meta VR s’appuie sur les amis et les communications basées sur le groupe via Messenger pour les réseaux sociaux ; Apple pourrait aller dans la même direction. SharePlay arrive sur Game Center, le centre de jeu social négligé d’Apple, et il semble être un outil tout aussi utile pour les futures expériences de jeu partagées.

RoomPlan pourrait-il être un tremplin vers la réalité mixte dans la chambre ?

Apple a annoncé un nouvel outil d’invisibilité dans sa prochaine ARKit 6: Une technologie de numérisation de pièce appelée RoomPlan. À première vue, la fonctionnalité ressemble à la propre version d’Apple de la technologie de numérisation de salle lidar, similaire à d’autres sociétés développé. L’outil reconnaît les meubles, les murs, les fenêtres et d’autres éléments de la pièce, et crée également rapidement un scan 3D d’un espace pour des choses comme l’amélioration de l’habitat ou la construction.

Ou peut-être que cela pourrait permettre de nouvelles formes de réalité mixte. « N’oubliez pas d’utiliser l’environnement des gens comme toile de fond pour votre expérience », déclare une vidéo de développeur de la WWDC détaillant RoomPlan, ajoutant que vous pouvez « même intégrer les espaces des gens dans le jeu que vous créez ». Alors que la carte de profondeur utilisant le lidar peut déjà encapsuler des objets AR, ce que cette nouvelle technologie peut permettre, c’est de faire de la place en réalité virtuelle Superposer des objets virtuels dans ce format. J’ai vu cette idée il y a quelque temps dans les casques VR qui utilisent des caméras pour scanner les environnements et Amenez-les à la réalité virtuellecréant une sorte de sensation de réalité mixte, et c’est peut-être le genre de réalité mixte que les casques VR équipés d’une caméra d’Apple commencent à activer.

Vidéo 4K pour la réalité augmentée des sons Comme le chemin des écouteurs

Une autre nouvelle fonctionnalité d’ARKit 6 semble notable : les effets AR fonctionneront désormais avec une entrée vidéo 4K. C’est une caractéristique étrange à première vue pour les téléphones, qui ont des écrans trop petits pour apprécier 4K AR. Cela peut être utile pour capturer une vidéo avec des effets de réalité augmentée. Mais augmenter la qualité vidéo pour la réalité augmentée sera très utile dans les casques de réalité virtuelle qui utilisent des caméras intégrées pour combiner la réalité virtuelle avec un flux vidéo du monde extérieur, une technologie appelée réalité mixte transitoire.

Les casques VR qui utilisent la réalité mixte transitoire, comme ceux qu’Apple devrait éventuellement publier, s’appuient sur un flux vidéo de haute qualité pour rendre les objets virtuels superposés réalistes. Sur le Oculus Quête 2Et le ce vidéo Granuleux, noir et blanc. Au niveau professionnel Varjo XR-3, où je travaille Il a une chance Pour une expérience de transit plus avancée grâce à la réalité mixte, c’est la couleur et une résolution beaucoup plus élevée.

Les nouvelles fonctionnalités ARKit semblent également être plus rapides dans la reconnaissance des détails de la pièce pour les superpositions AR rapides et le suivi de la capture de mouvement. Les deux seraient également utiles et nécessaires dans un casque doté de fonctionnalités AR.

Apple continue de s’étendre dans les villes où la réalité augmentée spécifique à l’emplacement peut fonctionner

Un certain nombre d’entreprises ont récemment étendu leurs initiatives de cartographie pour travailler avec la réalité augmentée afin que les futures lunettes puissent reconnaître des objets de réalité augmentée « permanents » dans des lieux du monde réel. Google étend la réalité augmentée pour fonctionner sur plusieurs de ses sites Cartes compatibles Street ViewConstruire un Niantic carte de sous-traitance Des zones jouables aux jeux de réalité augmentée. C’était Snap enquête sur la ville avec Lidar. Apple a Arpenter les villes avec le lidar Eh bien, mais seulement une poignée. D’autres sont ajoutés cette année, mais cela signifie qu’il n’y a que certains endroits où la réalité augmentée spécifique à l’emplacement fonctionnera de manière fiable avec les boîtes à outils AR d’Apple. Apple ne devrait pas avoir de lunettes AR portables de tous les jours pendant longtemps, ce qui est logique : outre la durée de vie de la batterie, les problèmes de coût ou de sécurité, les lunettes de réalité augmentée n’auront besoin que d’un cadre de cartographie globale à moitié construit pour le moment.

Il y a encore beaucoup de choses que nous ne savons pas

Malgré de nombreux rapports faisant état d’un casque à venir (ou arrivant en 2023), nous ne savons toujours rien de précis sur ce qu’Apple a prévu. Ces petites spéculations sur les nouveaux outils logiciels d’Apple sont presque sans aucune idée… mais elles montrent que de nombreuses pièces nécessaires sont assemblées à la vue de tous.