Unité mixte de recherche Ircam-cnrs

2.10Equipe Interactions musicales temps réel

L’équipe Interactions Musicales Temps Réel (IMTR), qui a intégré l’UMR STMS début 2007, mène des recherches et développements sur les systèmes interactifs temps réel dédiés à la musique et au spectacle vivant. L’équipe IMTR a fortement accru ses activités de recherche, effectuées en parallèle avec des développements de logiciels et de systèmes de captation du geste. Ceux-ci nous permettent de concrétiser des prototypes et démonstrateurs valorisés dans des productions artistiques, des produits industriels ou encore des installations pour le grand public.

Le nombre de doctorants accueillis dans l’équipe a été en constante augmentation pendant cette période : les deux premiers doctorants de l’équipe ont soutenus en 2008, suivis par trois autres entre 2009 et 2012. Actuellement nous encadrons cinq doctorants, dont trois sont en cotutelle (avec le LIMSI-CNRS, Université Paris Descartes et Goldsmiths University of London).

Nous avons également poursuivi notre effort d’organisation de séminaires (GDR ISIS) et de workshops (sur les formats GDIF-SpatDIF, la modélisation de qualités de mouvements, et workshops satellites des conférences IHM 07, Dafx 11, NIME 11).

Nous avons contribué à 2 projets européens, 11 projets ANR, 1 projet Feder, 2 projets Région Ile de France/Futur en Seine et 3 contrats industriels (avec OrangeLab, PSA et VoxLer).

Ces projets ont renforcé notre réseau national et international de collaborations. Le nombre croissant d’invitations dans des conférences, séminaires et workshops représente un indicateur de la reconnaissance internationale de nos travaux (plus de 20 séminaires/conférences invités et 40 workshops).

Nous avons obtenu le financement de trois projets en tant que coordinateurs:

• 
  Le projet ANR Interlude a permis de valoriser nos recherches et développements en créant des interfaces musicales originales appelées MO – Modular Musical Object. Ces travaux ont trouvé une reconnaissance internationale en remportant le 1er prix Guthman des nouveaux instruments de musique en 2011 aux USA, et ont été présentés lors de quatre expositions internationales (dont au MoMa - New York).
  
• 
  Le projet Urban Musical Game a permis de valoriser nos travaux sur l’interaction musicale grâce à une installation financée dans le cadre de Futur en Seine 2011, reprise depuis dans plus de 7 autres festivals et conférences comme CHI 2012. Une valorisation industrielle est en cours de négociation.
  
• 
  Le projet ANR Blanc Legos, démarré en octobre 2011, nous permet d’aborder de nouvelles questions de recherche sur l’apprentissage sensori-moteur dans le contexte d’interfaces gestuelles couplées à un retour sonore, et de mettre en place des nouvelles collaborations avec des chercheurs en neurosciences.
  

Nos travaux ont fait régulièrement l’objet de collaborations avec des artistes, généralement dans le cadre de recherches musicales ou de productions à l’Ircam. Par exemple, nous avons été impliqués chaque année par les projets de compositeurs en résidence, comme Mari Kimura (violon augmenté), Thomas Grill (nouvelles interfaces tactiles), Marco Suarez-Cifuentes (audio mosaicing), Ben Hackbarth (synthèse concaténative).

Notons encore des collaborations industrielles (PSA, Universal SoundBank, OrangeLab, Voxler) et des installations grand public comme celle de Grainstick, à la Cité des sciences et de l’industrie, réalisée dans le cadre du projet européen SAME (contrôle gestuel de synthèse sonore), ainsi que le projet Topophonie Mobile au Festival Futur en Seine 2011 et 2012, où nos technologies de synthèse sonore interactive ont été intégrées par la société Orbe dans des plates-formes mobiles.

L’ensemble de ces résultats a confirmé l’identité de l’équipe IMTR autour des problématiques de développement de systèmes interactifs sonores, impliquant à la fois des nouveaux paradigmes d’interaction gestuelle et de synthèse interactive. Nous résumons ci-dessous les principaux faits marquants de nos recherches et développements:

1. 
   Nos travaux sur le suivi et la reconnaissance de gestes ont connus un cycle complet de recherche et développement, notamment grâce à des projets financés (projets européen i-Maestro, SAME, projet ANR Eartoy, Interlude) et des collaborations dans le cadre de projets artistiques (quatuor augmenté, compositeurs en résidence, collaborations avec des compagnies de danse). De nouvelles applications ont émergé comme Mogees (Grand Prix du Jury de la conférence Laval Virtual 2012), qui utilise des gestes captés par micros de contact.
   
2. 
   Les travaux de recherche sur le suivi de gestes ont été effectués en synergie avec nos recherches concernant le geste instrumental et les relations geste-son. Ces résultats ont fait récemment l’objet de 4 publications dans un numéro spécial du Journal of New Music Research (Performance Monitoring and Data Analysis). Nous avons également contribué à un livre de référence récent sur le sujet [Dahl09a].
   
3. 
   Nos travaux sur l’analyse de mouvements dansés a permis de formaliser une approche de l’interaction basée sur des notions de qualités de mouvement, ce qui a été reçu positivement dans la communauté IHM (Honorary Mention à DIS 2012). Ces travaux ouvrent une voie innovante dans le contrôle gestuel continu que nous allons poursuivre.
   
4. 
   Les travaux sur la synthèse sonore interactive basée sur des sons enregistrés se sont fortement développés depuis un de nos articles de référence dans IEEE Signal Processing en 2007 [Schwarz07a], notamment dans le cadre de projets ANR (Interlude, Topophonie, SampleOrchestrator). Cette recherche est effectuée en parallèle avec de nouveaux développements logiciels (bibliothèques MuBu, IAE, ImtrEditor, ZsaZsa, RTA) [Schnell09a]. Ils ont été valorisés dans diverses installations, dont Topophonie Mobile et l’installation audiovisuelle MindBox (exposée en Europe, aux Etats-Unis, et au Japon) qui a gagné le deuxième prix du concours Guthman des nouveaux instruments de musique.
   
5. 
   Les travaux sur le suivi de partition, effectués en parallèle avec un travail fondamental sur l’anticipation musicale, ont abouti à des publications importantes (par exemple [Cont08b] dans TPAMI) et un logiciel stabilisé appelé Antescofo, désormais largement diffusé et utilisé lors de concerts. Ces travaux ont obtenu plusieurs prix (prix de thèse ASTI et Gilles Kahn à Arshia Cont en 2008, et plus récemment le prix spécial du jury de La Recherche).
   L’aboutissement de cet axe de recherche a ouvert une problématique plus large concernant l’écriture de l’interaction et les langages de programmation synchrones, et a abouti à la création de l’équipe MuSync, rattachée à l’équipe Représentations Musicales. Ce changement est conforme aux recommandations du dernier rapport AERES afin de garder une identité cohérente de l’équipe IMTR.
   

Nous développons ci-dessous les résultats de ces différents thèmes de recherche.