La Réalité Mixte ou Mixed Reality en anglais est une technologie qui associe des contenus virtuels au monde réel, tels que des hologrammes par exemple.
Elle se base sur les mêmes principes que la technologie de Réalité Augmentée. La différence majeure entre les deux technologies vient du support utilisé pour la visualisation des informations (voir plus bas)
La Réalité Mixte utilise un casque ou des lunettes alors que la Réalité Augmentée est basée sur l’utilisation de tablettes ou smartphones. Malgré tout, les deux termes sont souvent regroupés sous le nom de technologies de Réalité Augmentée, plus communément utilisé. On parle alors de vision augmentée.
Comme la Réalité Augmentée (RA), la Réalité Mixte (RM) diffère de la Réalité Virtuelle (RV) qui plonge l'utilisateur dans environnement totalement virtuel, sans interaction avec l'environnement réel.
La Réalité Mixte représente la jonction entre le monde virtuel et le monde réel, c’est à dire qu’elle n’est ni tout à fait l’un, ni tout à fait l’autre. C’est une “réalité hybride”.
Cette définition est apparue pour la première fois en 1994, dans un article universitaire publié par Paul Milgram et Fumio Kishino intitulé “A taxonomy of Mixed Reality Visual Dispalys”.
Ils définissent eux-mêmes cette technologie comme “la fusion des mondes réels et virtuels, située quelque part sur le continuum de la virtualité qui relie des environnements complètement réels à des environnements complètement virtuels”.
En Réalité Mixte, un hologramme est un objet virtuel qui se superpose à l’environnement réel grâce à un casque de réalité mixte.
Il peut s’agir d’un écran virtuel, d’une simple sphère, d’un point de repère (voir photo ci-dessous), d’une flèche, ou de la modélisation virtuelle complète d’un objet réel (par exemple un moteur). Il va donc permettre aux utilisateurs d'effectuer des interactions virtuelles, comme si elles avaient lieu dans l'environnement réel. Il sont la base ce que l'on peut appeler "la vision augmentée".
La Réalité Mixte va donc plus loin que l’affichage d’éléments virtuels dans l’environnement réel, comme le permet par exemple un smartphone ou une tablette. L’utilisation d’un casque de Réalité Mixte permet de :
Concrètement, cela signifie que le casque joue le rôle d’interface entre l’utilisateur, l’environnement réel et les objets virtuels.
Avec le positionnement et la localisation exacte des objets virtuels dans le réel, c’est le GROS avantage de la Réalité Mixte.
En effet, la manipulation des objets virtuels avec ses mains bouleverse complètement notre approche de ces technologies immersives.
Si vous avez vu le film Minority Report 🎥 et sa fameuse scène ou Tom Cruise déplace des objets virtuels avec ses mains, et bien nous y sommes (presque car lui ne porte pas de casque mais des gants) ! Les interactions semblent complètement réelles.
L’utilisateur n’est plus “séparé” du monde virtuel par un écran mais interagit directement avec lui. La manipulation holographique est bluffante de réalisme. Par exemple, il pourra saisir un objet virtuel, le déplacer, l’agrandir, le faire tourner et le positionner dans le monde réel : il s'agit donc d'interactions virtuelles.
➡️ Un exemple concret serait donc d’enfiler un casque et de se faire guider par des flèches en 3D qui nous indiquent un chemin à suivre pour aller appuyer sur un bouton virtuel qui déclenchera une action : affichage d’un panneau d’instructions, validation d’une observation, affichage d’un écran de saisie, etc.
Les casques ou lunettes de Réalité Mixte sont comme un ordinateur porté sur la tête par l’utilisateur. Un écran situé devant ses yeux (une sorte de visière transparente amovible) affiche des informations en 3D dans son champ de vision tels que des hologrammes, des instructions holographiques, des vidéos, des photos, des modèles 3D, etc. On parle alors de vision augmentée.
L'avantage est que ces casques permettent de voir à la fois les éléments virtuels, mais également l'environnement réel sans aucune gêne visuelle. Plus qu'un simple outil de vision augmentée, ils permettent également des interactions virtuelles : un bouton virtuel pourra être cliqué, un document parcouru avec le doigt, une photo positionnée dans l'espace.
Il existe plusieurs fournisseurs des lunettes de Réalité Mixte aujourd'hui mais le marché reste dominé par Microsoft et son HoloLens 2. Son prix de plus de 3000€ ne lui permet pas de se démocratiser auprès du grand public. Son marché est donc quasi exclusivement professionnel (voir les exemples d'utilisation ci-dessous).
Grâce à la puissance de calcul et la qualité d’affichage du HoloLens 2, Microsoft a su s’imposer chez les industriels du monde entier ou tout du moins, ceux qui incluent la RM dans leur roadmap 4.0.
La société américaine a d’ailleurs sorti en 2021 une version industrielle de son casque, respectant notamment les normes des zones ATEX ou des salles blanches.
La start-up française 🔵⚪🔴Lynx vient récemment d'annoncer son casque de Réalité Mixte Lynx R-1 disponible pour les particuliers à partir de 500 dollars et 900 dollars pour la version professionnelle. Très attendu suite à une campagne kickstarter réussie, nous aurons l'occasion de revenir sur ce produit dans les prochains mois.
Beaucoup d'espoirs sont aussi placés dans le futur casque de Magic Leap. L'acteur floridien avait déçu le marché avec la première version de son casque Magic Leap one qui présentait des contraintes d'ergonomie (pas compatible avec des lunettes de vue), de sécurité (pas compatible avec des casques de sécurité) et d'usage (casque relié par des fils à l'unité de calcul) qui le rendent inadapté à l'usage professionnel.
Magic Leap devrait sortir la deuxième version de son casque de Réalité Mixte, censé concurrencer Microsoft.
Les dernières lunettes de Lenovo viennent remplacer les A6. Et quelle évolution ! D'un point de vue technique et ergonomique, la rupture est majeure pour ces lunettes qui vont peut-être pouvoir concurrencer (enfin) le HoloLens 2 de Microsoft.
Plus proche d'un look de lunettes de vue (on y est pas encore mais ça avance ) elle sont beaucoup moins contraignantes à porter que les casques habituels. Elles gardent cependant une contrainte majeure : la nécessité de les brancher sur un device externe pour effectuer les calculs.
Enfin, deux acteurs tech majeurs se lancent dans l'aventure de la réalité mixte et pas des moindres puisque l'on parle de Facebook et Apple. D'ailleurs Facebook a récemment changé de nom pour s'appeler Meta (de Metavers) pour refléter les futures activités du groupes. Comme son -nouveau- nom l'indique, l'entreprise compte investir massivement sur les technologies immersives.
Le projet phare du groupe? Le projet "Nazareth", des lunettes de réalité mixte grand public qui supposent cependant quelques années de développement selon Mark Zuckerbeg :
“Nous avons beaucoup de travail technique à faire […].. Vous devez intégrer des écrans holographiques, des projecteurs, des batteries, des radios, des puces personnalisées, des caméras, des haut-parleurs, des capteurs et plus encore pour cartographier le monde qui vous entoure avec des lunettes de 5 mm d’épaisseur. Par conséquent, bien que la distance à Nazareth soit longue, elle progresse.”
Quant à Apple, il est maintenant de notoriété publique que la firme de Cupertino travaille sur des lunettes de réalité mixte / virtuelle. Comme à son habitude, l'entreprise californienne n'a communiqué aucune information sur le sujet mais nous connaissons la capacité d'Apple à bousculer un marché établi.
Le fait que son concurrent historique Microsoft ait aujourd'hui le monopole nous laisse espérer un grand bon en avant sur les lunettes de réalité mixte.
Utilisée dans les processus de conception, de production et de maintenance notamment, la Réalité Mixte a fait ses preuves chez les industriels. Les applications RM sont nombreuses :
Prenons l’exemple d’un opérateur industriel qui doit réaliser une action de maintenance préventive. Le casque de RM va lui afficher directement dans son champ de vision :
Toutes les informations sont ensuite transmises au logiciel de GMAO de manière automatique, avec un rapport d’intervention généré automatiquement.
Vous faire opérer par un chirurgien portant un casque de Réalité Mixte ? Et bien c’est possible ! En février 2021, quinze chirurgiens orthopédiques de 13 pays différents ont réalisé des interventions chirurgicales assistés de cette technologie immersive.
A la tête de cette expérience, le Professeur (français) Thomas Grégory de l’hôpital Avicenne AP-HP, et de l’Université Sorbonne Paris Nord qui avait réalisé en 2018 la première opération chirurgicale équipé d’un casque de Réalité Mixte.
L’utilisation de la RM permet notamment aux chirurgiens :
L’objectif de cette expérience était notamment de confronter les chirurgiens à la manipulation d’hologramme et à l’assistance à distance pendant une opération.
Grâce à la Réalité Mixte, la modélisation 3D d’un bâtiment peut désormais être affichée en trois dimensions devant vous, comme si vous étiez devant la maquette d’un bâtiment.
Très utilisée dans le cadre du BIM, la réalité mixte permet également de projeter des infrastructures qui n’existent pas encore sur un bâtiment, comme par exemple la projection des futurs conduits d’aération ou des schémas électriques.
La Réalité Mixte est aussi utilisée pour contrôler la qualité des travaux achevés ou identifier d’éventuels problèmes de conception.
C'est LE plus gros contrat de vente signé par Microsoft pour ses lunettes de Réalité Mixte IVAS (un variant militaire du HoloLens 2) :
💰22 Milliards de dollars💰 pour équipé 120 000 militaires américains des fameux casques immersifs !
C'était en avril 2021 et le monde entier en parlait. L'objectif est d'"améliorer l'adaptabilité, la mobilité et la compréhension de la situation, en formation ou au combat".
Depuis, plusieurs rumeurs d'annulation ou de suspension de contrat ont circulé. Jusqu'à ce que l'armée américaine communique en Octobre dernier :
"L'Armée de terre a précisé, par le biais d'un communiqué, que le contrat avec Microsoft sur la fourniture de 120 000 casque de réalité augmentée a seulement du retard. L'Armée a déplacé les tests opérationnels du casque IVAS et sa mise en service à une date ultérieure en 2022. Mais elle se dit toujours décidée à poursuivre l'amélioration cette plateforme technologique embarquée pour équiper le soldat du futur. Selon le nouveau planning, les premiers tests opérationnels seront réalisés en mai 2022 et une première unité doit être équipée en septembre 2022."
Autrement dit, la Réalité Mixte a toujours un bel avenir pour les applications militaire !
Le concept de la Réalité Virtuelle est le plus simple à comprendre : cette technologie vous plonge dans un environnement 100% virtuel, c’est-à-dire complètement modélisé en 3D.
Ainsi, vous êtes immergé dans un monde virtuel, créé par des développeurs spécialisés. La sensation d'immersion est totale !
Pour vous plonger dans un univers complètement digitalisé, il existe de nombreux casques de Réalité Virtuelle accessibles au grand public.
Les dispositifs de réalité virtuelle les plus populaires sont commercialisés par la société Oculus (désormais filiale de Facebook), très axée sur les jeux vidéo.
En 2020, la société vendait plus d’un casque de RV sur deux dans le monde.
Les applications de réalité virtuelle type « gaming » sont donc la tête de gondole de la Réalité Virtuelle car ludiques et extension d’un secteur qui génère chaque année des milliards de dollars de chiffre d’affaires.
La Réalité Virtuelle fait son chemin dans de nouveaux secteurs, notamment dans l’industrie, l’immobilier, le tourisme, l’architecture.
Les dispositifs de réalité virtuelle sont principalement utilisés par les services recrutement / formation, marketing et commercial.
L’objectif ? Créer une expérience virtuelle qui simule un environnement réel pour faire découvrir un lieu, appréhender un comportement ou former des personnes face à une situation future. Il faut créer chez l'utilisateur, une sensation d'immersion totale.
Dans le cadre de l’industrie, la Réalité Virtuelle peut être utilisée pour former un nouveau technicien sur des processus. Par exemple une application de réalité virtuelle :
Cependant, la limite de cette technologie réside dans le fait qu’elle se cantonne à la formation et n’apporte pas de valeur ajoutée dans les opérations quotidiennes.
Les systèmes de Réalité Augmentée consiste à afficher sur l’écran d’un smartphone, d’une tablette, d’un ordinateur ou d’un autre support, un contenu digital qui vient se superposer à l’environnement réel.
Par exemple des applications de réalité augmentée : un objet positionné dans une pièce (voir l’application IKEA place), une couleur de peinture sur un mur (voir l’application Dulux Valentine Visualizer ), des informations qui s’affichent sur l’étale d’un magasin, etc.
À la différence de la Réalité Virtuelle, la technologie de Réalité Augmentée permet donc de projeter des éléments digitaux dans le monde réel, comme un complément de la réalité visuelle, en apportant plus de précisions.
La Réalité Mixte, comme vu précédemment, pourrait être qualifiée de « Réalité Augmentée next gen » ou de « 5G de la Réalité Augmentée ». Les applications de réalité augmentée seront sensiblement les mêmes que celles de la réalité mixte en industrie. Une des grosses différences va être la projection (via des vidéo projecteurs) d'objets virtuels sur des éléments réels. Un de ces application de réalité augmentée consistera par exemple à projetter des modèles très précis
Chez Spectral TMS, nous avons fait le choix d’utiliser le terme générique de Réalité Augmentée (plus simple pour évangéliser nos clients et prospects) alors que dans les faits, nous faisons de la Réalité Mixte.
Le principe est simple et se déroule en moins de 30 minutes ⏱️ :
Grâce à la Réalité Augmentée, les techniciens passent moins de temps à réaliser leurs tâches, font beaucoup moins d’erreur et montent en compétence chaque jour. En d’autres termes, ils sont plus performants !
La Réalité Mixte est une technologie immersive qui permet de faire le lien entre le monde réel et le monde virtuel dont le potentiel est énorme. Cantonné aux applications professionnelles pour le moment, car limitée par le nombre de casques disponibles (et donc chers), nul doute que la réalité mixte passera la porte des ménages.
Avec peut-être à la clé des applications très utiles pour les consommateurs : montage de meuble assisté, réparation d'appareils électroménager, cours de cuisine, etc. le champ des possibles n'a que de limite votre imagination et celle des futurs fournisseurs de contenu !