Qu’est-ce que la Réalité Mixte ?

Définition de la Réalité Mixte (RM)

La Réalité Mixte ou Mixed Reality en anglais est une technologie qui associe des contenus virtuels au monde réel, tels que des hologrammes par exemple.

Elle se base sur les mêmes principes que la technologie de Réalité Augmentée. La différence majeure entre les deux technologies vient du support utilisé pour la visualisation des informations (voir plus bas) 

La Réalité Mixte utilise un casque ou des lunettes alors que la Réalité Augmentée est basée sur l’utilisation de tablettes ou smartphones. Malgré tout, les deux termes sont souvent regroupés sous le nom de technologies de Réalité Augmentée, plus communément utilisé. On parle alors de vision augmentée.

Comme la Réalité Augmentée (RA), la Réalité Mixte (RM) diffère de la Réalité Virtuelle (RV) qui plonge l'utilisateur dans environnement totalement virtuel, sans interaction avec l'environnement réel. 

Les origines de cette technologie immersive

La Réalité Mixte représente la jonction entre le monde virtuel et le monde réel, c’est à dire qu’elle n’est ni tout à fait l’un, ni tout à fait l’autre. C’est une “réalité hybride”. 

Cette définition est apparue pour la première fois en 1994, dans un article universitaire publié par Paul Milgram et Fumio Kishino intitulé “A taxonomy of Mixed Reality Visual Dispalys”. 

Paul Milgram

Ils définissent eux-mêmes cette technologie comme “la fusion des mondes réels et virtuels, située quelque part sur le continuum de la virtualité qui relie des environnements complètement réels à des environnements complètement virtuels”.

Illustration du Continuum de virtualité

Qu’est ce qu’un hologramme ? 

En Réalité Mixte, un hologramme est un objet virtuel qui se superpose à l’environnement réel grâce à un casque de réalité mixte.

Il peut s’agir d’un écran virtuel, d’une simple sphère, d’un point de repère (voir photo ci-dessous), d’une flèche, ou de la modélisation virtuelle complète d’un objet réel (par exemple un moteur). Il va donc permettre aux utilisateurs d'effectuer des interactions virtuelles, comme si elles avaient lieu dans l'environnement réel. Il sont la base ce que l'on peut appeler "la vision augmentée". 

Les avantages de la Réalité Mixte

Les avantages liés à l'usage

La Réalité Mixte va donc plus loin que l’affichage d’éléments virtuels dans l’environnement réel, comme le permet par exemple un smartphone ou une tablette. L’utilisation d’un casque de Réalité Mixte permet de : 

• comprendre l’environnement dans lequel l’utilisateur de la Réalité Mixte évolue (cartographie 3D de l’environnement + ancres spatiales) 🏭;
• comprendre l’utilisateur : ses gestes, le positionnement de ses yeux, sa voix, son positionnement dans l’espace 👨‍🏭;
• localiser et positionner précisément tous les objets virtuels dans l’environnement réel 🎯;
• diffuser du son à l’utilisateur 🔉;
• effectuer une tâche avec les mains libres👋 !

Concrètement, cela signifie que le casque joue le rôle d’interface entre l’utilisateur, l’environnement réel et les objets virtuels. 

Manipuler des objets virtuels dans l’environnement réel

Avec le positionnement et la localisation exacte des objets virtuels dans le réel, c’est le GROS avantage de la Réalité Mixte. 

En effet, la manipulation des objets virtuels avec ses mains bouleverse complètement notre approche de ces technologies immersives. 

Si vous avez vu le film Minority Report 🎥 et sa fameuse scène ou Tom Cruise déplace des objets virtuels avec ses mains, et bien nous y sommes (presque car lui ne porte pas de casque mais des gants) ! Les interactions semblent complètement réelles. 

L’utilisateur n’est plus “séparé” du monde virtuel par un écran mais interagit directement avec lui. La manipulation holographique est bluffante de réalisme. Par exemple, il pourra saisir un objet virtuel, le déplacer, l’agrandir,  le faire tourner et le positionner dans le monde réel : il s'agit donc d'interactions virtuelles.

➡️ Un exemple concret serait donc d’enfiler un casque et de se faire guider par des flèches en 3D qui nous indiquent un chemin à suivre pour aller appuyer sur un bouton virtuel qui déclenchera une action : affichage d’un panneau d’instructions, validation d’une observation, affichage d’un écran de saisie, etc. 

Les casques / lunettes de Réalité Mixte

Les casques ou lunettes de Réalité Mixte sont comme un ordinateur porté sur la tête par l’utilisateur. Un écran situé devant ses yeux (une sorte de visière transparente amovible) affiche des informations en 3D dans son champ de vision tels que des hologrammes, des instructions holographiques, des vidéos, des photos, des modèles 3D, etc. On parle alors de vision augmentée. 

L'avantage est que ces casques permettent de voir à la fois les éléments virtuels, mais également l'environnement réel sans aucune gêne visuelle.  Plus qu'un simple outil de vision augmentée, ils permettent également des interactions virtuelles : un bouton virtuel pourra être cliqué, un document parcouru avec le doigt, une photo positionnée dans l'espace.

Microsoft HoloLens

Il existe plusieurs fournisseurs des lunettes de Réalité Mixte aujourd'hui mais le marché reste dominé par Microsoft et son HoloLens 2. Son prix de plus de 3000€ ne lui permet pas de se démocratiser auprès du grand public. Son marché est donc quasi exclusivement professionnel (voir les exemples d'utilisation ci-dessous).

Grâce à la puissance de calcul et la qualité d’affichage du HoloLens 2, Microsoft a su s’imposer chez les industriels du monde entier ou tout du moins, ceux qui incluent la RM dans leur roadmap 4.0.

La société américaine a d’ailleurs sorti en 2021 une version industrielle de son casque, respectant notamment les normes des zones ATEX ou des salles blanches. 

Microsoft HoloLens 2

Microsoft HoloLens 2 avec visière relevée

Lynx R-1

La start-up française 🔵⚪🔴Lynx vient récemment d'annoncer son casque de Réalité Mixte Lynx R-1 disponible pour les particuliers à partir de 500 dollars et 900 dollars pour la version professionnelle. Très attendu suite à une campagne kickstarter réussie, nous aurons l'occasion de revenir sur ce produit dans les prochains mois. 

Magic Leap 2

Beaucoup d'espoirs sont aussi placés dans le futur casque de Magic Leap. L'acteur floridien avait déçu le marché avec la première version de son casque Magic Leap one qui présentait des contraintes d'ergonomie (pas compatible avec des lunettes de vue), de sécurité (pas compatible avec des casques de sécurité) et d'usage (casque relié par des fils à l'unité de calcul) qui le rendent inadapté à l'usage professionnel.

Magic Leap devrait sortir la deuxième version de son casque de Réalité Mixte, censé concurrencer Microsoft. 

Lenovo Thinkreality A3

Les dernières lunettes de Lenovo viennent remplacer les A6. Et quelle évolution ! D'un point de vue technique et ergonomique, la rupture est majeure pour ces lunettes qui vont peut-être pouvoir concurrencer (enfin) le HoloLens 2 de Microsoft. 

Plus proche d'un look de lunettes de vue (on y est pas encore mais ça avance ) elle sont beaucoup moins contraignantes à porter que les casques habituels. Elles gardent cependant une contrainte majeure : la nécessité de les brancher sur un device externe pour effectuer les calculs. 

Facebook et Apple bientôt sur la réalité mixte ?

Enfin, deux acteurs tech majeurs se lancent dans l'aventure de la réalité mixte et pas des moindres puisque l'on parle de Facebook et Apple. D'ailleurs Facebook a récemment changé de nom pour s'appeler Meta (de Metavers) pour refléter les futures activités du groupes. Comme son -nouveau- nom l'indique, l'entreprise compte investir massivement sur les technologies immersives. 

Le projet phare du groupe? Le projet "Nazareth", des lunettes de réalité mixte grand public qui supposent cependant quelques années de développement selon Mark Zuckerbeg :

“Nous avons beaucoup de travail technique à faire […].. Vous devez intégrer des écrans holographiques, des projecteurs, des batteries, des radios, des puces personnalisées, des caméras, des haut-parleurs, des capteurs et plus encore pour cartographier le monde qui vous entoure avec des lunettes de 5 mm d’épaisseur. Par conséquent, bien que la distance à Nazareth soit longue, elle progresse.”

Quant à Apple, il est maintenant de notoriété publique que la firme de Cupertino travaille sur des lunettes de réalité mixte / virtuelle. Comme à son habitude, l'entreprise californienne n'a communiqué aucune information sur le sujet mais nous connaissons la capacité d'Apple à bousculer un marché établi.

Le fait que son concurrent historique Microsoft ait aujourd'hui le monopole nous laisse espérer un grand bon en avant sur les lunettes de réalité mixte. 

L’industrie, fer de lance de la Réalité Mixte

Utilisée dans les processus de conception, de production et de maintenance notamment, la Réalité Mixte a fait ses preuves chez les industriels. Les applications RM sont nombreuses :

• Modélisation 3D en prototypage pour accélérer le processus de design et de développement. 
• Changements de format (ou série, lot, recette, formules, etc) en début et fin de ligne de production pour effectuer rapidement des réglages et adaptation des lignes en fonction des produits. 
• Vides de ligne en particulier dans l’agroalimentaire, la cosmétique et la pharmaceutique pour éliminer toutes traces pouvant générer des anomalies. 
• Réglages et étalonnage des machines.
• Contrôles qualité en-cours et sur produits finis afin de diminuer les défauts et produits non conformes. 
• Maintenance prédictive et corrective pour prévenir les pannes ou les résoudre si nécessaire. 

Prenons l’exemple d’un opérateur industriel qui doit réaliser une action de maintenance préventive. Le casque de RM va lui afficher directement dans son champ de vision : 

• le chemin à parcourir jusqu’à la machine qui nécessite une opération de maintenance ⤴️;
• les points de la machine à contrôler (des hologrammes seront précisément positionnés sur chaque point) 📍;
• les instructions textuelles (quoi faire avec quels outils) 🔤;
• les EPI (photo) à porter pour réaliser son opération 👷‍♂️ ;
• une vidéo explicative en cas de besoin 🖥️;
• des boutons de validation pour vérifier que chaque étape de la procédure a bien été respectée 🔘.

Toutes les informations sont ensuite transmises au logiciel de GMAO de manière automatique, avec un rapport d’intervention généré automatiquement. 

Assister les chirurgiens grâce aux informations virtuelles 

Vous faire opérer par un chirurgien portant un casque de Réalité Mixte ? Et bien c’est possible ! En février 2021, quinze chirurgiens orthopédiques de 13 pays différents ont réalisé des interventions chirurgicales assistés de cette technologie immersive.

A la tête de cette expérience, le Professeur (français) Thomas Grégory de l’hôpital Avicenne AP-HP, et de l’Université Sorbonne Paris Nord qui avait réalisé en 2018 la première opération chirurgicale équipé d’un casque de Réalité Mixte. 

L’utilisation de la RM permet notamment aux chirurgiens : 

• de consulter les données vitales du patient en temps réel et de rester concentré plutôt que de chercher les données sur les différents moniteurs de la salle d'opération.
• d’afficher des modélisations 3D des organes ou os du patient pour modéliser un os caché derrière un organe ou inversement, par exemple.

L’objectif de cette expérience était notamment de confronter les chirurgiens à la manipulation d’hologramme et à l’assistance à distance pendant une opération.

La construction, l’architecture et le bâtiment s’appuie aussi sur la Réalité Mixte

Grâce à la Réalité Mixte, la modélisation 3D d’un bâtiment peut désormais être affichée en trois dimensions devant vous, comme si vous étiez devant la maquette d’un bâtiment.

Très utilisée dans le cadre du BIM, la réalité mixte permet également de projeter des infrastructures qui n’existent pas encore sur un bâtiment, comme par exemple la projection des futurs conduits d’aération ou des schémas électriques. 

La Réalité Mixte est aussi utilisée pour contrôler la qualité des travaux achevés ou identifier d’éventuels problèmes de conception.

L'armée américaine signe un contrat record pour la Réalité Mixte

C'est LE plus gros contrat de vente signé par Microsoft pour ses lunettes de Réalité Mixte IVAS (un variant militaire du HoloLens 2) :

💰22 Milliards de dollars💰 pour équipé 120 000 militaires américains des fameux casques immersifs ! 

C'était en avril 2021 et le monde entier en parlait. L'objectif est d'"améliorer l'adaptabilité, la mobilité et la compréhension de la situation, en formation ou au combat".

Depuis, plusieurs rumeurs d'annulation ou de suspension de contrat ont circulé. Jusqu'à ce que l'armée américaine communique en Octobre dernier : 

"L'Armée de terre a précisé, par le biais d'un communiqué, que le contrat avec Microsoft sur la fourniture de 120 000 casque de réalité augmentée a seulement du retard. L'Armée a déplacé les tests opérationnels du casque IVAS et sa mise en service à une date ultérieure en 2022. Mais elle se dit toujours décidée à poursuivre l'amélioration cette plateforme technologique embarquée pour équiper le soldat du futur. Selon le nouveau planning, les premiers tests opérationnels seront réalisés en mai 2022 et une première unité doit être équipée en septembre 2022."

Autrement dit, la Réalité Mixte a toujours un bel avenir pour les applications militaire !

Quelles différences avec les autres technologies immersives ( Réalité Virtuelle et Réalité Augmentée) ? 

La Réalité Virtuelle est surtout tournée vers  l'industrie des jeux vidéo 🎮 

Le concept de la Réalité Virtuelle est le plus simple à comprendre : cette technologie vous plonge dans un environnement 100% virtuel, c’est-à-dire complètement modélisé en 3D. 

Ainsi, vous êtes immergé dans un monde virtuel, créé par des développeurs spécialisés. La sensation d'immersion est totale ! 

Pour vous plonger dans un univers complètement digitalisé, il existe de nombreux casques de Réalité Virtuelle accessibles au grand public.

Les dispositifs de réalité virtuelle les plus populaires sont commercialisés par la société Oculus (désormais filiale de Facebook), très axée sur les jeux vidéo.

En 2020, la société vendait plus d’un casque de RV sur deux dans le monde. 

Les applications de réalité virtuelle type « gaming » sont donc la tête de gondole de la Réalité Virtuelle car ludiques et extension d’un secteur qui génère chaque année des milliards de dollars de chiffre d’affaires.

Les autres applications de Réalité Virtuelle 🏭

La Réalité Virtuelle fait son chemin dans de nouveaux secteurs, notamment dans l’industrie, l’immobilier, le tourisme, l’architecture.

Les dispositifs de réalité virtuelle sont principalement utilisés par les services recrutement / formation, marketing et commercial. 

L’objectif ? Créer une expérience virtuelle qui simule un environnement réel pour faire découvrir un lieu, appréhender un comportement ou former des personnes face à une situation future. Il faut créer chez l'utilisateur, une sensation d'immersion totale. 

Dans le cadre de l’industrie, la Réalité Virtuelle peut être utilisée pour former un nouveau technicien sur des processus.  Par exemple une application de réalité virtuelle :

• On va recréer un environnement virtuel qui met en scène une panne sur une machine.
• Équipé de son casque de Réalité Virtuelle, le technicien en formation peut s’entraîner en effectuant le scénario de dépannage plusieurs fois. 

Cependant, la limite de cette technologie réside dans le fait qu’elle se cantonne à la formation et n’apporte pas de valeur ajoutée dans les opérations quotidiennes.

La Réalité Augmentée : pionnière de la Réalité Mixte

Les systèmes de Réalité Augmentée consiste à afficher sur l’écran d’un smartphone, d’une tablette, d’un ordinateur ou d’un autre support, un contenu digital qui vient se superposer à l’environnement réel.

Par exemple des applications de réalité augmentée :  un objet positionné dans une pièce (voir l’application IKEA place), une couleur de peinture sur un mur (voir l’application Dulux Valentine Visualizer ), des informations qui s’affichent sur l’étale d’un magasin, etc. 

À la différence de la Réalité Virtuelle, la technologie de Réalité Augmentée permet donc de projeter des éléments digitaux dans le monde réel, comme un complément de la réalité visuelle, en apportant plus de précisions.

La Réalité Mixte, comme vu précédemment, pourrait être qualifiée de « Réalité Augmentée next gen » ou de « 5G de la Réalité Augmentée ». Les applications de réalité augmentée seront sensiblement les mêmes que celles de la réalité mixte en industrie. Une des grosses différences va être la projection (via des vidéo projecteurs) d'objets virtuels sur des éléments réels. Un de ces application de réalité augmentée consistera par exemple à projetter des modèles très précis

Chez Spectral TMS, nous avons fait le choix d’utiliser le terme générique de Réalité Augmentée (plus simple pour évangéliser nos clients et prospects) alors que dans les faits, nous faisons de la Réalité Mixte. 

Comment créer de la Réalité Mixte industrielle ? 

Le principe est simple et se déroule en moins de 30 minutes ⏱️ :  

1. Un « auteur » en charge de la création des contenus va « digitaliser » les procédures qui sont utilisées quotidiennement par les techniciens (une plateforme web va lui permettre d'y intégrer simplement ses procédures en mentionnant que telle machine ou tel composant devra être repéré par un hologramme dans l’environnement réel).
2. Ce même « auteur » va ensuite placer les contenus digitaux dans l’usine, équipé de son casque de Réalité Mixte. (Rappelez vous des mains de Tom Cruise – et bien il fait la même chose et saisit les éléments digitaux pour les placer au bon endroit).
3. Les techniciens de production ou maintenance enfilent le casque et sont guidés tout au long de l’exécution de leur tâche selon la procédure créée par l’auteur. Ils peuvent voir les instructions s’afficher dans leur champ de vision (=vision augmentée), des repères 3D fixes ou mobiles sur des machines/composants, des cases à cocher (=interactions virtuelles) pour valider que l’opération a bien été réalisée, etc. 

Grâce à la Réalité Augmentée, les techniciens passent moins de temps à réaliser leurs tâches, font beaucoup moins d’erreur et montent en compétence chaque jour. En d’autres termes, ils sont plus performants !

En conclusion : 

La Réalité Mixte est une technologie immersive qui permet de faire le lien entre le monde réel et le monde virtuel dont le potentiel est énorme. Cantonné aux applications professionnelles pour le moment, car limitée par le nombre de casques disponibles (et donc chers), nul doute que la réalité mixte passera la porte des ménages.

Avec peut-être à la clé des applications très utiles pour les consommateurs : montage de meuble assisté, réparation d'appareils électroménager, cours de cuisine, etc. le champ des possibles n'a que de limite votre imagination et celle des futurs fournisseurs de contenu !