Unité mixte de recherche Ircam-cnrs

4.9.1.14Projet LEGOS

Apprentissage sensori-moteur dans les systèmes interactifs sonores basés sur le geste

Équipes concernées: Interactions musicales temps réel, Perception et design sonores, Acoustique instrumentale, Espaces acoustiques et cognitifs

Financement: ANR - programme Blanc

Période de réalisation : novembre 2010 – décembre 2014

Partenaires extérieurs: Laboratoire de neurophysique et physiologie (CNRS UMR 8119), université Paris Descartes

Coordinateur : Frederic Bevilacqua, Ircam
L’idée centrale du projet Legos est de croiser des expertises avancées sur les technologies de contrôle sonore par le geste avec des problématiques liées aux neurosciences et aux sciences cognitives de l’audition, concernant en particulier les apprentissages sensori-moteurs. Nous pensons en effet que ces aspects sont insuffisamment intégrés aux développements des systèmes sonores interactifs. Une meilleure compréhension des mécanismes d’ap- prentissage du couplage geste/son pour la réalisation d’une action est nécessaire pour proposer des méthodologies efficaces pour leur évaluation et optimisation. Cela permettra de dépasser de manière significative les limites auxquelles sont confrontés les systèmes sonores interactifs actuels basés sur le geste, souvent développés de manière empirique.

L’objectif du projet Legos est d’étudier de manière systématique l’évaluation de la qualité du couplage geste-son dans des sys- tèmes sonores basés sur une interface gestuelle. Pour cela, nous évaluerons l’apprentissage sensori-moteur, et en particulier son évolution dans le temps, dans divers dispositifs interactifs.

Il s’agit donc à la fois de développer, d’évaluer et comparer des systèmes interactifs afin de proposer à moyen terme des nouvelles interfaces gestuelles de contrôle de médias numériques (dont les jeux vidéos et le design sonore) ainsi que des applications médicales comme la rééducation.

Le projet permettra d’apporter un nouvel éclairage sur la perception des sons dans un processus actif engageant une action de l’auditeur.

Le projet s’appuie sur des méthodes expérimentales, considérant les trois éclairages suivants :

• 
  Contrôle sonore
  

Ce premier point correspond à un cas d’apprentissage sensori-moteur où la finalité est de produire un son donné grâce à la manipulation d’une interface gestuelle, comme dans le cas des instruments de musique numérique. L’apprentissage sensori-moteur est évalué au niveau de la qualité du son produit.

• Apprentissage de geste avec retour sonore Ce deuxième point correspond à l’apprentissage sensori-moteur dans le cas où la finalité est d’effectuer un geste donné en s’aidant d’un retour sonore. L’apprentissage sensori-moteur est dans ce cas observé au niveau de la qualité/performance du geste reproduit.

• Design sonore interactif Ce troisième point correspond à l’apprentissage sensori- moteur dans le cas d’interfaces tangibles, où la finalité est la manipulation correcte d’un objet. Dans ce dernier cas, l’appren- tissage sensori-moteur est jugé à travers la manipulation de l’objet interactif pour répondre à un usage donné.