F style ra 2005 pdétaillé

Participants : G. Peeters

6. Reconnaissance Automatique des instruments et indexation

Cette thèse étudie la reconnaissance des instruments, notes isolées, enregistrements continus de solos et enregistrements polyphoniques [Livshin05a]. Une première version d'un système de conversion de Wav à Midi a été développée intégrant l'évaluation de f0 multiples de C. Yeh (Cf. le paragraphe « Estimation de fréquences fondamentales multiples ») avec l'identification des instruments. Un article sur ce système a été soumis au journal d'EURASIP [Livshin06b].

La possibilité d'employer seulement la structure harmonique du son (logiciel Additive) pour l'identification des instruments a été évaluée et un article sur ce sujet a été accepté à la convention 2006 de l'AES [Livshin06a]. Les premiers résultats montrent que le taux de bonne reconnaissance diminue au plus d’environ 4% (environ de 94% à 90%) quand le système de reconnaissance utilise seulement la structure harmonique du son. Ce sujet sera également développé dans un autre article pour ISMIR 2006.

Notre algorithme d'identification des instruments dans des duos a été modifié et généralisé pour accepter un nombre arbitraire d'instruments jouant en même temps. Cet algorithme a été évalué sur des mélanges de solos jusqu'à 5 instruments jouant concurremment. Les tests préliminaires donnent des taux de reconnaissance des instruments présents dans chaque segment de 1s. (indépendamment du reste de l’enregistrement) de l’ordre de 71%, 59%, 49% et 42% pour 2, 3, 4 et 5 instruments respectivement.

Diverses méthodes de reconnaissance des formes ont été évaluées pour l'identification des instruments, y compris des algorithmes de classification et des méthodes de réduction de dimension.

Cette recherche est une part du projet MusicDiscover de l’ACI Masse de Données (Cf. paragraphe « Projet MusicDiscover ») où une partie des travaux est menée en collaboration avec le LIRIS et l’ENST. Une base de données de solos pour le projet MusicDiscover a été créée en collaboration avec S. Essid (ENST).