EVA Berlin 2018 Conference 7 - 9 November 2018 Kunstgewerbemuseum (Museum of Decorative Arts) Kulturforum Potsdamer Platz, Matthäikirchplatz 8, 10785 Berlin 

Spatial Augmented Reality pour des expériences collectives et immersives dans les musées.

GERMAN Ronan, PhD, HERVY Benjamin, PhD
Mazedia, France



Les technologies numériques, telles que la réalité virtuelle et la réalité augmentée sont souvent considérées comme peu propices à de l'échange entre les membres de la famille ou un groupe scolaire, étant donné les expériences plus individualistes que celles-ci permettent (en particulier lorsque des casques sont nécessaires).

Au contraire, notre projet examine la façon dont les technologies de réalité spatiale augmentée (RS) peuvent offrir une expérience plus engageante sur le plan social et physique aux membres du groupe. L'appareil SAR (Spatial Augmented Reality ) sur lequel nous travaillons repose sur le déclenchement d'une animation 3D basée sur l'expression du visage, la reconnaissance des gestes et l'analyse du comportement (de groupe).

L'expérimentation, qui implique des animaux en 3D et fournira une expérience familiale immersive en direct, aura lieu dans l'aquarium du Croisic, en France.

Au printemps 2018, Mazedia, une agence de communication œuvrant dans les secteurs du patrimoine et du tourisme, a commencé à travailler avec l'aquarium du Croisic, en France.

Le projet initial visait à offrir une nouvelle expérience aux visiteurs de l’aquarium afin de leur offrir une expérience plus immersive et plus attrayante avec les spécimens de l’aquarium. En collaboration avec l'équipe de l'aquarium, Mazedia a conçu un appareil qui donne aux visiteurs l'impression d'interagir avec les modèles animés en 3D d'un requin et d'un groupe de pingouins.

Cet appareil fonctionne en intégrant des éléments de réalité augmentée dans une zone spécifique de l'aquarium, dédiée aux familles et aux élèves avec leurs enseignants. Les membres du groupe se placent devant une projection monumentale (5 mètres de large et 2,5 mètres de large) dans laquelle ils se voient grâce à une caméra centrale. Une ligne présente sur le sol prévient les visiteurs qu'il ne faut pas traverser cette dernière pour que l'appareil fonctionne correctement. Une fois en place, l'animation est déclenchée et l'animal en 3D apparaît dans l'espace. Cela donne l'impression que l'animal peut être touché.

Les premiers mois ont montré un réel intérêt et un grand succès du système du côté des visiteurs mais également du personnel de l'aquarium. Pour rendre l'expérience plus immersive, nous nous sommes rapprochés de Dynamixyz, leader sur la motion capture, qui sont basés à Rennes. Ainsi que 2 équipes de recherche : CRENAU du laboratoire AAU, expert en technologie augmentée de l'école centrale de Nantes et de l'équipe PACCE du laboratoire LS2N spécialisée dans l’interaction homme-machine.

Ainsi, l'objectif principal de l'article est de donner un aperçu des objectifs et des moyens du projet, et de se concentrer sur quelques grande lignes. Nous présenterons d'abord les détails du système existant et ses limites. Ensuite, nous identifierons les 3 objectifs principaux que le projet doit atteindre. Enfin, nous nous concentrerons sur les problèmes scientifiques, techniques et expérientiels dont le consortium devra traiter.

1.Réalisations et limites de l'appareil existant

Comme indiqué dans l'introduction, le système de réalité augmentée spatiale existant encourage les membres du groupe à se déplacer dans un espace désigné et à regarder une projection géante sur le mur devant eux.

 

Le système est composé d'une caméra, d'un vidéoprojecteur, d'une série d'animations 3D pré-traitées d'animaux (un requin et un groupe de pingouins) et d'un réglage spécial permettant une immersion plus profonde.

 

 

Le système repose sur deux scénarios : le requin et le groupe de pingouins. Les deux animations se lancent périodiquement et durent 40 secondes, à environ 10 secondes d'intervalle. Les visiteurs prennent place devant la projection et se voient. Un premier animal apparaît dans la projection et donne l’impression de se rapprocher de plus en plus du visiteur. Les animations 3D ont été conçues pour être aussi réalistes que possible, en fonction du comportement des animaux dans un cadre naturel (donc cohérent avec les connaissances scientifiques).

En outre, le système de réalité augmentée projective (selon la taxonomie de l'animal) est assez simple du point de vue de la technologie, il repose sur la combinaison d'animations 3D de haute qualité des animaux et de l'aspect immersif du cadre. L'expérience du visiteur profite de cette combinaison. Comme le montrent les images, les enfants sont très sensibles à la présence des animaux virtuels et tentent de toucher les animations 3D, même s’il n’y a pas de véritable interaction entre eux et l’animal.

Cela nous donne une bonne idée du pouvoir évocateur de ce type de décor. Il est intéressant de noter que, dans cette phase du projet, ce sont les visiteurs qui ont ajusté et adapté leur comportement et leurs gestes aux animaux animés en 3D (par exemple, en suivant le chemin prédéterminé du manchot pour le caler sur la tête). L’objectif même du futur projet est précisément de répondre aux attentes existantes des visiteurs qui souhaitent interagir de manière significative avec les animaux. L'évaluation a montré que les enfants ne sont pas les seuls à être fascinés par ce pouvoir évocateur du système, les adultes le sont aussi (on a déjà vu des parents imiter la nage avec le requin).

Cette première expérimentation nous a beaucoup appris sur la réaction des visiteurs à la présence virtuelle des animaux modélisés en 3D et sur la manière dont le système pourrait être amélioré pour des expériences ultérieures.

 

2. Réalité augmentée spatiale avec des interactions évoluées : une proposition

Nous nous proposons de tirer parti des résultats des expériences passées pour améliorer les différentes interactions entre les membres du groupe et les spécimens animés en 3D. Pour ce faire, trois défis doivent être relevés :

Premièrement, nous voulons offrir aux visiteurs une expérience plus engageante, afin de répondre à leurs attentes. Nous devons ensuite fournir de réelles interactions, ce qui signifie que les visiteurs auront un retour d’information en temps réel qui aura un impact sur le modèle 3D de l’animal. Par exemple, s’ils tentent de se rapprocher de l’animal, celui-ci voudra peut-être fuir, en fonction du comportement et des habitudes de l’espèce vis-à-vis de l’humain.

Outre ce type de réaction, la position et le nombre de visiteurs sur la scène auront une importance cruciale dans le déroulement de l'animation. L’objectif est d’influencer mutuellement le monde virtuel et le monde réel (le comportement de l’animal en 3D a un impact sur le comportement du visiteur, et inversement).

 

 

Le deuxième défi consiste à créer un environnement favorable permettant aux visiteurs de partager une expérience commune dans laquelle les interactions entre visiteurs ont un impact direct sur le scénario de l'animation. Par exemple, le système peut identifier des groupes et des modèles de comportement au sein du groupe (adultes avec enfants, enfants en interaction, adulte isolé ou enfant, groupe d'élèves avec leur enseignant, etc.) et lancer des animations en conséquence. Afin d’encourager la collaboration entre les membres du groupe (groupes scolaires ou familiaux), les éléments ludiques pourraient être intégrés en tant que modalité spécifique (mais pas unique) d’interaction entre les visiteurs et les animations virtuelles.

Le troisième défi consiste à garder à l’esprit que, même si l’expérimentation aura lieu dans un aquarium, les principes peuvent être pertinents pour d’autres types d’institutions et d’organisations (musées des arts, musées d’histoire, centres scientifiques, sites du patrimoine, parcs, etc.). L'objectif de ce projet est de fournir à ce type d'acteurs du domaine culturel les mêmes expériences immersives et collectives. Par exemple, dans un musée d'art, le même système technique pourrait permettre aux visiteurs d'incarner un personnage existant dans un tableau ou de faire partie de la scène en tant que nouveau personnage (grâce à un avatar). Le schéma donne un aperçu du fonctionnement du système.

3. Questions scientifiques, Techniques et Expérientielles

Le système de SAR (Spatial Augmented Reality) proposé doit d’abord détecter la position des membres du groupe dans l’espace physique afin de déclencher des mouvements spécifiques d’avatars virtuels (animaux), puis d’adapter l’animation 3D en fonction du corps des membres du groupe et captures de mouvement du visage. Cette deuxième partie est importante pour atteindre l’objectif d’une expérience immersive. Cette approche novatrice pose les problèmes suivants :

Premièrement, nous devons capturer la position et la posture des visiteurs dans l’espace physique. Cela signifie donc que le système SAR conçu est capable de détecter un groupe, ses membres et leurs caractéristiques physiques telles que la taille et la position des articulations. Les caméras profondes telles que Microsoft Kinect ou Intel RealSense peuvent fournir ce type d'informations avec des algorithmes dédiés.

Deuxièmement, la détection en temps réel de l'expression faciale à travers leur capture de mouvement, associée à la définition de l'heuristique, apporte l'expérience interactive à une étape suivante.

Dynamixyz a une grande expérience dans ce domaine d'expertise et intégrera sa technologie dans l'appareil technique. L'un des problèmes techniques de ce processus consiste à gérer des situations imprévues, telles que des défaillances de la détection des visages dues à une occlusion, une latence ou une définition de trame vidéo faible.

 

 

 

  

Troisièmement, le projet vise à définir et à classifier les déclencheurs d’interaction entre l’analyse du comportement des membres du groupe et les comportements animés en 3D des animaux. C'est l'un des principaux problèmes scientifiques identifiés jusqu'à présent. En effet, cela signifie que, d'une part, les informations multimodales provenant de capteurs peuvent être classées en tant que comportements humains correspondants dans une base de données et, d'autre part, que les animations 3D sont étiquetées comme des réponses correspondantes basées sur ces comportements humains.

Ces deux bases de données classifiées incluent des connaissances d'experts du domaine, à la fois en interaction homme-machine, en cognition et en éthologie.

Quatrièmement, la création d'animations 3D spécifiques est un problème technique qui prend beaucoup de temps. Ces animations doivent être divisées en unités, les plus petites possibles.

En effet, nous devons reconstruire une animation 3D dans la scène physique en combinant de nombreuses petites animations en réponse à des événements en temps réel (actions humaines).

Afin de fournir la meilleure expérience interactive immersive, le système doit être suffisamment souple pour répondre aux comportements des membres du groupe, tout en offrant des animations 3D réalistes. Travailler avec des animaux 3D réalistes est un défi supplémentaire pour fournir une interaction engageante.

 

Enfin, travailler avec un aquarium implique des défis spécifiques en termes d’interprétation. Par exemple, le système SAR proposé doit délivrer des messages pédagogiques sous forme d'animations spécifiques. Ces messages doivent être déclenchés par des comportements spécifiques détectés ou à la demande, par le personnel de l'aquarium.

Le cadre final est décrit à la fois comme un support pédagogique et ludique. Ainsi, la scénographie du cadre physique aura une grande importance pour influencer le comportement des visiteurs et améliorer le sentiment et le sens de l’immersion. L'utilisation de la conception sonore pourrait également être une piste intéressante à suivre.

Ainsi, dans cet article, nous avons décrit un système de réalité augmentée spatiale pour apporter des interactions avancées dans le secteur culturel. Notre objectif principal est de surmonter les limites des technologies numériques existantes, telles qu'elles sont généralement conçues dans les musées. Cette proposition bénéficie d'un cadre existant dans l'aquarium du Croisic, en France, pour amener les visiteurs à un niveau supplémentaire d'interaction avec des spécimens virtuels.

En combinant la capture de mouvements du corps et du visage parmi les membres du groupe avec des bases de données de classification du comportement des êtres humains et des animaux, nous visons à fournir des animations 3D en temps réel basées sur le comportement des visiteurs détectés. Ce projet soulève de nombreuses questions scientifiques et techniques qui seront examinées par un consortium de chercheurs et d’industriels dans les différents domaines de compétence requis.

Dans une perspective à long terme, nous prévoyons de montrer comment cette approche pourrait être appliquée dans d'autres contextes, tels que les musées d'art, les musées d'histoire ou les sites du patrimoine en général. Enfin, notre travail examinera les conséquences d'un tel système sur les stratégies d'interprétation et les expériences de collaboration entre groupes (en mettant l'accent sur les familles). Ce travail en cours a été soumis à un appel à propositions et devrait commencer en juin 2019 pour une période de 24 mois.