En long-term dense motion estimation and view synthesis quality assessment with application to joint stereo and motion processing. Fr

J'ai le plaisir de vous inviter à ma soutenance de thèse intitulée :
EN Long-term dense motion estimation and view synthesis quality assessment with application to joint stereo and motion processing.
FR Estimation de mouvement dense long-terme et évaluation de qualité de la synthèse de vues. Application à la coopération stéréo-mouvement.
Elle se déroulera le mercredi 16 Avril à 10h00 dans l'Amphi André Bonnin de l'INSA de Rennes, devant le jury composé de :

 

Marco CAGNAZZO, Maître de conférence HDR à Telecom-ParisTech, LTCI / Rapporteur

Vincent CHARVILLAT, Professeur à l'ENSEEIHT, IRIT / Rapporteur

Fabrice HEITZ, Professeur à Télécom Physique Strasbourg, ICube / Examinateur

Jean-Marc ODOBEZ, Maître d'enseignement et de recherche EPFL, Idiap / Examinateur

Patrick BOUTHEMY, Directeur de recherche à l'INRIA de Rennes / Examinateur

Rémi MEGRET, Maître de conférence à l'ENSEIRB-MATMECA, IMS / Examinateur

Luce MORIN, Professeur à l'INSA de Rennes, IETR / Directrice de thèse

Philippe ROBERT, Ingénieur de recherche à Technicolor / Co-encadrant de thèse
Vous trouverez les résumés de thèse EN/FR ci-dessous. Par ailleurs, la soutenance sera suivie d'un pot de thèse dans la salle de pause du département EII (bâtiment 10, dernier étage). 
Cordialement,
Pierre-Henri CONZE

[e-mail]
Abstract Film and consumer electronics industries have known in the last few years huge technological improvements to capture, transmit and display high-quality monoscopic and stereoscopic video content. These improvements aim at providing to the viewer the most realistic viewing experience. Due to artistic intentions or physical limitations to efficiently capture and transmit video contents, it is sometimes necessary to combine simultaneously captured and synthetic data while taking care to maintain a photo-realistic rendering. To efficiently process captured and synthetic content simultaneously, production and post-production operators need to be assisted by sophisticated automatic tools. Among these tools, we thoroughly investigated both view synthesis quality assessment and long-term dense motion estimation issues.
3D autostereoscopic displays rely on the generation of realistic-looking virtual viewpoints through disparity estimation and view interpolation involved together within Depth-Image-Based Rendering (DIBR) algorithms. Despite recent advances, DIBR algorithms do not always provide artifact-free synthesized views and induce new types of artifacts whose impact can be harmful for the observer. Our contribution in this context has been to develop and evaluate a new full-reference objective image quality assessment metric dedicated to view synthesis quality assessment.
Also required by recent applications such as scene segmentation or dynamic scene analysis techniques, long-term dense displacement fields allow to propagate synthetic data to the whole sequence in the context of high quality video editing. However, state-of-the-art optical flow estimators show strong limitations toward long-term requirements since classical optical flow assumptions are not valid for non-consecutive frames. Therefore, we proposed several contributions to long-term dense motion estimation based on multi-step optical flow vectors. First, a sequential fusion approach including a spatio-temporal multilateral filtering has been investigated toward long-term dense correspondences robust to temporary occlusions. Then, an alternative method has been studied based on combinatorial integration and statistical selection. Finally, we proposed multi-reference frames strategies to correlate trajectories estimated with respect to multiple reference frames selected according to motion quality criteria.
Our contributions in both contexts offers new perspectives, especially for joint stereo and motion processing. In this direction, an automatic disparity correction framework using long-term dense displacement fields has been addressed.
Résumé Les nouvelles technologies de la vidéo numérique tendent vers la production, la transmission et la diffusion de contenus de très haute qualité, qu'ils soient monoscopiques ou stéréoscopiques. Ces technologies ont énormément évolué ces dernières années pour faire vivre à l’observateur l'expérience la plus réaliste possible. Pour des raisons artistiques ou techniques liées à l’acquisition et à la transmission du contenu, il est parfois nécessaire de combiner la vidéo acquise à des informations de synthèse tout en veillant à maintenir un rendu photo-réaliste accru. Pour faciliter la tâche des opérateurs de production et post-production, le traitement combiné de contenus capturés et de contenus de synthèse exige de disposer de fonctionnalités automatiques sophistiquées. Parmi celles-ci, nos travaux de recherche ont porté sur l’évaluation de qualité de la synthèse de vues et l’élaboration de stratégies d’estimation de mouvement dense et long-terme.
L’obtention d’images synthétisées de bonne qualité est essentielle pour les écrans 3D auto-stéréoscopiques. En raison d'une mauvaise estimation de disparité ou interpolation, les vues synthétisées générées par DIBR font cependant parfois l'objet d'artéfacts. C'est pourquoi nous avons proposé et validé une nouvelle métrique d'évaluation objective de la qualité visuelle des images obtenues par synthèse de vues.
Tout comme les techniques de segmentation ou d'analyse de scènes dynamiques, l'édition vidéo requiert une estimation dense et long-terme du mouvement pour propager des informations synthétiques à l'ensemble de la séquence. L'état de l'art dans le domaine se limitant quasi-exclusivement à des paires d’images consécutives, nous proposons plusieurs contributions visant à estimer le mouvement dense et long-terme. Ces contributions se fondent sur une manipulation robuste de vecteurs de flot optique de pas variables (multi-steps). Dans ce cadre, une méthode de fusion séquentielle ainsi qu’un filtrage multilatéral spatio-temporel basé trajectoires ont été proposés pour générer des champs de déplacement long-termes robustes aux occultations temporaires. Une méthode alternative basée intégration combinatoire et sélection statistique a également été mise en œuvre. Enfin, des stratégies à images de référence multiples ont été étudiées afin de combiner des trajectoires provenant d'images de référence sélectionnées selon des critères de qualité du mouvement.
Ces différentes contributions ouvrent de larges perspectives, notamment dans le contexte de la coopération stéréo-mouvement pour lequel nous avons abordé les aspects correction de disparité à l’aide de champs de déplacement denses long-termes.