F style ra 2005 pdétaillé

Participants : D. Tardieu (thèse)

Collaborations internes: G. Peeters, G. Carpentier (équipe PCM, thèse), Y. Maresh (compositeur), G. Drouin (compositeur)

8. Modèles d’indexation multimédia pour la description automatique de films de cinéma

L’objectif de ce travail de thèse est de caractériser les mécanismes qui relient les informations contenues dans différents médias (audio, vidéo et texte) de façon à permettre l’indexation de documents multimédia. Il est appliqué au traitement multimédia des films de cinéma : segmentation temporelle de la structure et classification du contenu des plans de films.

En 2005, notre attention a porté sur l’étude de concepts dit « granulaires » de l’audio et de l’image. Ces concepts simples, le plus souvent monomédias, caractérisent la présence d’objets dans l’image (visages, voitures, ciel, herbe) ou dans le son (musique, parole).

Pour la classification multimédia du lieu d’un plan à partir de descripteurs numériques et de concepts granulaires, nous avons montré que la fusion par réseau Bayésien et SVM de l’information fournie par ces concepts et plusieurs descripteurs numériques bas niveau améliore les résultats de classification multimédia des lieux. L’étude de modèles de fusion des concepts et des descripteurs visuels et auditifs nous a permis de conclure sur les relations de corrélation qu’ils entretiennent et sur le modèle de fusion le plus approprié pour la catégorisation automatique des plans de films.

Pour la segmentation multimédia des films plan à partir de descripteurs numériques et de concepts granulaires, les concepts multimédias de lieu et de présence d’objets ont été intégrés à un système de segmentation. Nous constatons que la fusion de concepts et de descripteurs numériques multimédia appporte une amélioration des performances de segmentation. Nous avons remarqué, notamment, l’utilité des concepts de lieu pour la segmentation des films en scènes. La thèse sera soutenue en Avril 2006.