Unité mixte de recherche Ircam-cnrs

2.5.3.2Audition et proprioception pour la perception de l’espace

La perception auditive est une des voies importantes, avec la vision, par lesquelles nous accédons à la connaissance de l'espace. De plus, l’audition a la particularité d’être la seule modalité sensorielle donnant un accès continu à l’environnement 3D autour du sujet, alors que la vision restreint la prise d’information à l'espace frontal. Malgré cet état de fait, la modalité auditive est encore peu étudiée dans ses dimensions spatiales. Nous nous attachons dans cet axe à démontrer le rôle spécifique de l’audition au sein du système de repérage spatial. Cette approche tente de prendre en compte la nature adaptative et multisensorielle des mécanismes mis en œuvre par le système nerveux central pour intégrer les informations spatiales acoustiques.

2.5.3.2.1De la main à l’oreille : effet d’un retour sonore sur un geste de pointage

Au moyen de tests perceptifs, nous avons cherché à identifier les paramètres acoustiques permettant de développer des avatars sonores améliorant des tâches de pointage dans des environnements virtuels auditifs. Dans une telle tâche, on peut en effet imaginer que la perception de la distance entre une source fixe située dans l'espace proximal et une source dynamique attachée à la main, représente un indice améliorant la précision du mouvement.

On a développé un environnement pour l'évaluation psycho-acoustique des mouvements de préhension dans l'espace proche du sujet. Toutes les étapes de traitement sont implémentées dans MaxMsp, avec les librairies de traitement de l'Ircam (Spat, ftm, etc.). Un système de suivi de mouvements par caméras infrarouges est disponible pour traquer les objets dans l'espace, permettant ainsi d'attacher un objet sonore à un segment corporel du sujet. Le retour auditif des mouvements du sujet dans l'espace constitue une augmentation sensorielle permettant d'affiner le comportement sensorimoteur pour l'exploration du monde virtuel. L'étape finale est de concevoir un avatar auditif pour guider le sujet quand il veut saisir des objets situés dans l'espace virtuel.

Ces études ont été développées dans le cadre du projet ANR EARTOY [ViaudDelmon07a] et se poursuivent actuellement dans le projet ANR LEGOS.

2.5.3.2.2Du corps à l’oreille : influence du retour sonore sur l’appréhension de l’espace scénique en danse

Un travail multidisciplinaire, engagé dans le cadre du projet EARTOY, a étudié la perception de l’espace scénique chez le danseur en manipulant les liens existants entre le son et l’espace. La technologie WFS associée à un dispositif de captation de geste a été utilisée pour que le danseur contrôle en temps réel le flux musical et puisse percevoir un espace sonore dépendant de ses déplacements.

Différentes modalités d’interaction ont pu être testées : un matériau ou une transformation sonore peut être associé à une portion de l’espace, ou attachés à un objet, ou encore déclenchés par un mouvement des marqueurs attachés à différents segments corporels. Nous avons pu observer que lorsque les sons sont attachés à différentes régions de l’espace, ils peuvent permettent au danseur de construire une représentation mentale de l’espace basée sur le matériel sonore. L’association de matériaux sonores à des objets ou des gestes rend ceux-ci plus explicites pour l’audience et permet aux observateurs de partager l’intention du danseur. Dans la plupart des situations, l’interaction permet au danseur de ressentir son contrôle sur le discours musical. Cette situation pourrait promouvoir un nouveau type de dialogue avec l’espace de nature à générer des conditions chorégraphiques innovantes [ViaudDelmon12a].