Unité mixte de recherche Ircam-cnrs

2.5.3Intégration multisensorielle pour le traitement de l’information acoustique

Toute modélisation ne prenant en compte que l’information acoustique néglige un aspect important de la perception auditive. Celle-ci repose en effet sur des processus intégrant les effets des actions motrices et les informations d’autres modalités sensorielles pour donner un sens au monde environnant.

2.5.3.1Intégration visuo-auditive en contexte réaliste

La reconnaissance d’un objet en contexte réaliste implique au moins deux mécanismes distincts : la capacité de combiner des informations provenant de plusieurs modalités sensorielles et se rapportant au même objet, et la capacité à ignorer les informations sensorielles concurrentes relatives à d’autres objets dans la scène. Au moins deux types d’indices peuvent sous-tendre ces mécanismes (Bedford, 2001 ; Bedford, 2004) : des indices structuraux (comme la disparité spatiale ou temporelle entre les différentes informations sensorielles) et des indices cognitifs (comme le contenu sémantique relatif à l’identité des stimuli auditifs et visuels). La plupart des études de neurosciences ont attaché une grande importance à l’étude des indices structuraux, en s’intéressant à la modulation de la perception par l’influence d’une modalité sensorielle sur l’autre, et leurs relations temporelles et spatiales. La prise en compte des indices dits cognitifs vient largement compliquer le tableau, déjà loin d’être élucidé. Pourtant, l’intégration de ces indices aux paradigmes de recherche est importante pour au moins deux raisons :

1. 
   par l’implication d’objets réalistes dans les expériences, elle justifie l’utilisation de dispositifs de réalité virtuelle (RV), ce qui permet de fournir en retour des pistes importantes aux développeurs d’algorithmes pour l’optimisation du rendu en RV ;
   
2. 
   elle permet de se pencher sur l’élucidation des mécanismes en jeu dans les applications thérapeutiques utilisant la RV. En effet, depuis son avènement, la cyberthérapie souffre d’une approche peu scientifique, avec une démarche reposant plus souvent sur l’empirique que sur l’expérimental.
   

Un des objectifs de cet axe de recherche dans lequel s’inscrivait le projet européen CROSSMOD (FET OPEN IST-014891-2) était par conséquent d’étudier les interactions visuo-auditives afin de comprendre de quelle façon le rendu visuel et auditif d’un environnement virtuel affecte la perception de l’utilisateur. Cette compréhension a conduit au développement de nouveaux algorithmes pour un rendu sélectif des environnements virtuels. Les activités de cet axe de recherche conduisent à deux applications à visée thérapeutique, contribuant au traitement de la phobie des chiens chez l’homme et au traitement des acouphènes.

2.5.3.1.1Facteurs spatiaux et sémantiques pour l’intégration visuo-auditive

De nombreuses études sont consacrées en neurosciences à la notion de fenêtre spatiale d'intégration visuo-auditive qui désigne les conditions suivant lesquelles un stimulus auditif et un stimulus visuel sont perçus sous forme d'un percept unique bien que leurs positions spatiales diffèrent objectivement (Bertelson et al., 1981),(Hairston et al., 2003). Cependant, celles-ci recourent généralement à des stimuli simples diffusés par des dispositifs réels (haut-parleurs, LEDs). Nous nous sommes intéressés à reproduire ce type d’expériences avec un dispositif de réalité virtuelle utilisant conjointement une projection stéréoscopique sur grand écran et une diffusion sonore binaurale sur casque. Nous avons pu vérifier que des propriétés d’intégration visuo-auditive qualitativement et quantitativement similaires étaient observables sur un tel dispositif [Nguyen 09a]. Cette étape de validation a permis de conduire des études faisant appel à des environnements visuels et sonores plus réalistes et plus complexes en exploitant les possibilités de la réalité virtuelle.

Nous avons pu ainsi démontrer, en faisant varier systématiquement le contenu sémantique et la disparité spatiale dans une tâche de reconnaissance d’objets visuels, auditifs et visuo-auditifs (temps de réaction de type go/no-go), que la disparité spatiale entre un stimulus auditif et un stimulus visuel n’affecte pas la reconnaissance d’un objet réaliste. Cependant, nous avons observé un effet d’interférence des distracteurs auditifs, suggérant qu’il est possible d’ignorer un distracteur visuel mais impossible d’ignorer un distracteur auditif. Ce résultat met en avant une asymétrie dans le filtrage attentionnel des informations auditive et visuelle (voir [Suied09a]).

Les causes de cette asymétrie attentionnelle semblent être liées à la catégorie sémantique du distracteur auditif. En effet, l’effet d’interférence n’est observé que lorsque le distracteur auditif est un animal, et ce quelle que soit la catégorie sémantique de la cible. Ces résultats suggèrent un traitement spécifique des sons d’animaux pour lequel la mémoire phylétique pourrait avoir un rôle [Suied09b].

2.5.3.1.2Applications thérapeutiques en réalité virtuelle auditive et visuelle

L’application thérapeutique « Dog Phobia » exploite les différents composants logiciels graphiques et audio développés au cours de deux projets européens, CROSSMOD et VERVE (e.g. [Moeck07a ; N'guyen10b]). Lors d’une immersion dans un environnement virtuel, un sujet est confronté graduellement à une situation potentiellement phobogène (ici appliquée à la phobie des chiens) [Viaud-Delmon08a]. L'intégration d’informations visuelles et auditives doit permettre à un sujet d’apprendre à maîtriser ses réactions émotionnelles lorsqu’il est exposé progressivement à des environnements où il peut rencontrer des chiens. Les évaluations de cette application confirment le rôle majeur joué par la composante auditive dans les réactions émotionnelles. La gestion de la dimension spatiale de la restitution sonore est par conséquent importante pour graduer l'exposition des participants et contrôler leurs réactions émotionnelles [Suied et al in press].

Une autre application thérapeutique consiste à proposer à des patients souffrant d’acouphènes un traitement en réalité virtuelle favorisant la dissociation entre la perception de l’acouphène et sa représentation mentale. En pratique, il s’agit de construire un avatar sonore et visuel de l’acouphène et de fournir au patient les moyens d’en contrôler la localisation dans l’espace, à la fois en direction et en distance [Londero10a].

La stratégie thérapeutique repose sur le choix des caractéristiques acoustiques de l’avatar sonore, sur les modalités de contrôle de sa localisation et sur leur éventuelle évolution au cours des séances. Un essai clinique a été conduit dans le service du professeur Bonfils à l’Hôpital Européen Georges Pompidou, afin de mesurer l’efficacité de la méthode par rapport à une liste d’attente et la thérapie comportementale. Les résultats de cet essai clinique à grande échelle (163 patients) sont encore en cours de traitement mais les premières analyses suggèrent déjà une efficacité de la méthode comparable aux traitements par thérapie cognitive et comportementale.