Unité mixte de recherche Ircam-cnrs

2.8.5.1Écoute artificielle

Le suivi de partition ou alignement temps réel de l’audio sur une partition symbolique à l’Ircam, à travers Antescofo, constitue l’état de l’art dans la littérature en terme de modélisation et de performance. Depuis 2011, la machine d’écoute a été étendue par des capacités de reconnaissance polyphonique et a été évaluée dans plusieurs situations de concert. En 2011, Nicola Montecchio (doctorant) a étudié l’apport des algorithmes de décodage temps réel de filtrage particulaire pour étendre le champ du suivi de partition vers l’alignement de signaux audios [Montecchio11a] ainsi que pour l’alignement des pistes dans les sessions d’enregistrement, une application d’aide au mixage dont la valorisation sera étudiée en 2012-13.

La transcription en temps réel consiste en la reconnaissance des hauteurs multiples (polyphonique) à partir d’un flux audio temps réel et en utilisant des méthodes de factorisation non-négative. Les algorithmes existants ont été étudiés et plusieurs améliorations en termes d’optimisation des recherches et de parcimonie ont été proposées [Dessein11c]. L’application a été également étendue vers la reconnaissance des événements sonores. Enfin, de nouveaux algorithmes de transcription polyphonique en temps réel fondés sur les divergences de Bregman (Géométrie de l’information) ont été développés, dont un prototype qui a été implémenté dans l’environnement musical temps réel Max/MSP en collaboration avec Thomas Goepfer, référent pour les réalisateurs en informatique musicale de l’Ircam, et avec des compositeurs tels que Gilbert Amy, Philippe Manoury, Peter McCulloch.

Le thème de la géométrie de l’information exploré par Arshia Cont dans sa thèse soutenue en octobre 2008 (Prix de thèse Gilles Kahn) est poursuivi dans le cadre d’une nouvelle thèse entamée en 2009 par Arnaud Dessein.

La géométrie de l’information est un domaine récent des mathématiques qui étudie les notions de probabilité et d’information par le biais de la géométrie différentielle. L’idée est de représenter les signaux musicaux dans un tel cadre pour bénéficier de ses outils géométriques et statistiques puissants aux fins de fouille de données musicales et d’extraction de contenus à partir de flux audio pour l’analyse et la transformation. De nouveaux algorithmes de détection de changements en temps réel pour les familles exponentielles ont été proposés avec des applications en segmentation spectrale et timbrale de musique, de parole, et de textures sonores. A partir de cette segmentation, des premiers exemples de recherche de structures et de synthèses sonores ont été ébauchés et seront poursuivis en collaboration avec Carmine Emanuele Cella, compositeur en recherche musicale.

L’aspect communautaire a également été développé, notamment par le biais du séminaire Léon Brillouin organisé par l’Ircam en partenariat avec Thales et le LIX, et la participation à des sessions spéciales en conférences et à des ateliers de travail, entre autres MIG, SMAI, GRETSI.