|
Morphing 3D de modèles estimés Encadrants: Luce Morin, Raphaèle Balter
|
tarix | 02.11.2017 | ölçüsü | 445 b. | | #27770 |
|
Morphing 3D de modèles estimés
Introduction Temics, Janvier 2002 : Schéma de codage/transmission/décodage de séquences vidéo réelles Représentation synthétique sous forme de modèles 3D Objectif - Améliorer le rendu des séquences reconstruites et virtuelles =>Mettre au point un post-traitement
Plan Introduction Contexte Travail réalisé Résultats Conclusion
Introduction Introduction Contexte Travail réalisé Résultats Conclusion
La structure d ’accueil L ’Irisa - Informatique et Signaux Aléatoires
- Unité mixte de recherche (INRIA, CNRS, Rennes 1, INSA)
- 25 équipes autour de grands thèmes scientifiques
Le projet Temics - Analyse et modélisation de séquences vidéo,
- Codage conjoint source-canal,
- Tatouage
La structure d ’accueil Environnement technique - OS : UNIX, Linux
- Langage : C/C++
- Librairie graphique : CGAL
Codage d ’une séquence vidéo par flux de modèles 3D Modèles 3D obtenus à partir d ’une vidéo Stéréo-reconstruction
Codage d ’une séquence vidéo par flux de modèles 3D Modélisation dépendant du point de vue Un modèle pour 15-30 images de la séquence (notion de GOP)
Décodage
Applications
Difficulté Transition entre modèles Causes - Saut géométrique (erreurs d ’estimation/zones découvertes)
- Saut de texture (erreurs/point de vue/illumination)
- Saut de connectivité (élévations sur maillage uniforme)
Approches précédentes Fondu dans l ’espace des textures saut de géométrie/connectivité Fondu 3D effet fantôme Morphing d ’élévations saut topologique zones à occultation non traitées
Introduction Contexte Travail réalisé Résultats Conclusion
Morphing 3D Objectif - Passer des cartes d ’élévations à de la vraie 3D
Méthode - Paramétrisation pour fixer les correspondances
- Fusion des paramétrisations pour construire la connectivité commune
- Interpolation des géométries pour générer les modèles intermédiaires
Morphing 3D - Mn : modèle source
- Mn+1 : modèle destination
- Hn : paramétrisation de Mn
- Hn+1 : paramétrisation de Mn+1
- Hc : fusion des paramétrisations
- Fn : connectivité fusion + géométrie n
- Fn+1 : connectivité fusion + géométrie n+1
Morphing 3D Paramétrisation Fusion Interpolation
La paramétrisation Principe - correspondance bijective entre une surface 3D discrète et un maillage planaire
- mesure de distorsion
- choix d ’épingles
- résolution d ’un système linéaire
Bords de deux modèle successifs non superposés => paramétrisation à bords libres Exacte superposition des textures pour éviter l ’effet fantôme => nombreuses épingles Modèles bruités => caractéristiques géométriques non fiables
Choix du critère d ’optimisation Paramétrisation de Floater - angles inférieurs à
- bords épinglés
Implémentation Espace de paramétrisation: I5 Paramétrisation de Mn+1 - Grille triangulaire uniforme
Paramétrisation de Mn - Paramétrisation connue sur I0
- Correspondances dans I5 données par le champ de mouvement
Implémentation
Implémentation Paramétrisation de Mn - Traitement des correspondances données par le champ de mouvement => choix des points à libérer
Algorithme de paramétrisation
Résultat de la paramétrisation
Morphing 3D Paramétrisation Fusion Interpolation
La fusion Objectif - construire une connectivité commune
Idée - tirer partie des paramétrisations obtenues dans un même espace 2D
- principe:
Recherche des intersections Algorithme général Initialisation d ’une liste de travail WL Tant que WL non vide - Prendre 1ère arête de WL
- Rechercher ses intersections
- Compléter WL
Algorithme général Rechercher ses intersections? Initialiser une liste d ’arêtes candidates CL - Tant que CL non vide
- Prendre 1ère arête de CL
- Intersection?
- Compléter CL
Algorithme général
Algorithme général
Gestion des cas particuliers Tenter de déjouer tous les cas particuliers Un exemple - v1a est superposed ou on_edge
- problème intrinsèque à la manipulation des réels
- astuce: partager CL en deux
Créations des liens entre intersections Liste des intersections retenues pour chaque arête Algorithme
Joindre()?
Etapes de la fusion
Problème - maintenir la cohérence du polyèdre
Solution proposée - liens vers les premières intersections
- ajout face par face
Ajout des sommets non singuliers de Mn 2 liens ou plus : ajout direct 0 ou 1 lien : traitement a posteriori
Résultat de la fusion
Morphing 3D Paramétrisation Fusion Interpolation
Interpolation Les interpoler linéairement Avant tout… - Triangulation de la fusion
- parcours des facettes de Hc,
- subdivision (algorithme récursif) en commençant par les angles les plus grands.
Résultats de la triangulation
Résultats de la triangulation
Résultats de la triangulation
On a: - connectivité n et géométrie n,
- leur union représentée par Mn,
- connectivité n+1 et géométrie n+1,
- leur union représentée par Mn+1,
- la connectivité fusion.
On voudrait, - l ’union de la connectivité fusion et de la géométrie n => argument source,
- l ’union de la connectivité fusion et de la géométrie n+1 => argument destination.
Application des géométries n et n+1 Données disponibles pour un sommet v de Hc
Calcul des coordonnées barycentriques Coordonnées des sommets de Mn dans Hn+1 - calcul au moment de la rétro-projection,
- direct sur grille uniforme avec coordonnées cartésiennes (i,j).
Si v est non singulier de Mn+1 - parcourir chaque facette de Hn,
- si v est dans la facette
- calculer ses coordonnées barycentriques dans la facette.
Application d ’une texture à Fn et Fn+1 Texture de Fn : I0 - sommets ne provenant pas de Mn : combinaison barycentrique des textures des sommets de Mn voisins.
Texture de Fn+1 : I5
Calcul des modèles intermédiaires
Introduction Introduction Contexte Travail réalisé Résultats Conclusion
Résultats Saut géométrique/topologique
Résultats Saut géométrique/topologique
Résultats Reconstruction de la séquence
Résultats Navigation virtuelle
Résultats Défauts Flou dans certains GOP - cause:mise en correspondance inexacte lors de la paramétrisation de Mn
Méthode lourde à l ’encontre du schéma de reconstruction temps réel
Introduction Introduction Contexte Travail réalisé Résultats Conclusion
Conclusion Vrai morphing tridimensionnel - suppression des sauts topologiques
- suppression des sauts géométriques
- suppression de l ’effet ghost
Mais… - GOP pièges à gérer
- perspective temps réel
Perspectives Poursuivre les tests sur la fusion pour gérer des cas particuliers non traités Gestion des GOP pièges - tenter une paramétrisation moins contrainte
Problème du temps réel - calcul des arguments de l ’interpolation au codage
Amélioration du rendu - interpolation plus courbe
Questions? Remarques?
Dostları ilə paylaş: |
|
|