Morphing 3D de modèles estimés Encadrants: Luce Morin, Raphaèle Balter



Yüklə 445 b.
tarix02.11.2017
ölçüsü445 b.
#27770


Morphing 3D de modèles estimés


Introduction

  • Temics, Janvier 2002 : Schéma de codage/transmission/décodage de séquences vidéo réelles

  • Représentation synthétique sous forme de modèles 3D

  • Objectif

    • Améliorer le rendu des séquences reconstruites et virtuelles =>Mettre au point un post-traitement


Plan

  • Introduction

  • Contexte

  • Travail réalisé

  • Résultats

  • Conclusion



Introduction

  • Introduction

  • Contexte

  • Travail réalisé

  • Résultats

  • Conclusion



La structure d ’accueil

  • L ’Irisa

    • Informatique et Signaux Aléatoires
    • Unité mixte de recherche (INRIA, CNRS, Rennes 1, INSA)
    • 25 équipes autour de grands thèmes scientifiques
  • Le projet Temics

    • Analyse et modélisation de séquences vidéo,
    • Codage conjoint source-canal,
    • Tatouage


La structure d ’accueil

  • Environnement technique

    • OS : UNIX, Linux
    • Langage : C/C++
    • Librairie graphique : CGAL


Codage d ’une séquence vidéo par flux de modèles 3D



Codage d ’une séquence vidéo par flux de modèles 3D

  • Modélisation dépendant du point de vue

  • Un modèle pour 15-30 images de la séquence (notion de GOP)



Décodage



Applications



Difficulté Transition entre modèles

  • Causes

    • Saut géométrique (erreurs d ’estimation/zones découvertes)
    • Saut de texture (erreurs/point de vue/illumination)
    • Saut de connectivité (élévations sur maillage uniforme)


Approches précédentes

  • Fondu dans l ’espace des textures saut de géométrie/connectivité

  • Fondu 3D effet fantôme

  • Morphing d ’élévations saut topologique zones à occultation non traitées



  • Introduction

  • Contexte

  • Travail réalisé

  • Résultats

  • Conclusion



Morphing 3D

  • Objectif

    • Passer des cartes d ’élévations à de la vraie 3D
  • Méthode

    • Paramétrisation pour fixer les correspondances
    • Fusion des paramétrisations pour construire la connectivité commune
    • Interpolation des géométries pour générer les modèles intermédiaires


Morphing 3D

    • Mn : modèle source
    • Mn+1 : modèle destination
    • Hn : paramétrisation de Mn
    • Hn+1 : paramétrisation de Mn+1
    • Hc : fusion des paramétrisations
    • Fn : connectivité fusion + géométrie n
    • Fn+1 : connectivité fusion + géométrie n+1


Morphing 3D

  • Paramétrisation

  • Fusion

  • Interpolation



La paramétrisation

  • Principe

    • correspondance bijective entre une surface 3D discrète et un maillage planaire
    • mesure de distorsion
      • conforme
      • authalique
    • choix d ’épingles
    • résolution d ’un système linéaire


Adaptation au contexte

  • Bords de deux modèle successifs non superposés => paramétrisation à bords libres

  • Exacte superposition des textures pour éviter l ’effet fantôme => nombreuses épingles

  • Modèles bruités => caractéristiques géométriques non fiables



Choix du critère d ’optimisation

  • Paramétrisation de Floater

    • angles inférieurs à
    • bords épinglés


Implémentation

  • Espace de paramétrisation: I5

  • Paramétrisation de Mn+1

    • Grille triangulaire uniforme
  • Paramétrisation de Mn

    • Paramétrisation connue sur I0
    • Correspondances dans I5 données par le champ de mouvement


Implémentation



Implémentation

  • Paramétrisation de Mn

    • Traitement des correspondances données par le champ de mouvement => choix des points à libérer
  • Algorithme de paramétrisation



Résultat de la paramétrisation



Morphing 3D

  • Paramétrisation

  • Fusion

  • Interpolation



La fusion

  • Objectif

    • construire une connectivité commune
  • Idée

    • tirer partie des paramétrisations obtenues dans un même espace 2D
    • principe:


Etapes de la fusion



Recherche des intersections Algorithme général

  • Initialisation d ’une liste de travail WL

  • Tant que WL non vide

    • Prendre 1ère arête de WL
    • Rechercher ses intersections
    • Compléter WL


Algorithme général

  • Rechercher ses intersections?

  • Initialiser une liste d ’arêtes candidates CL

    • Tant que CL non vide
      • Prendre 1ère arête de CL
      • Intersection?
      • Compléter CL


Algorithme général

  • Parcours de CL



Algorithme général

  • Fin de la recherche



Gestion des cas particuliers

  • Tenter de déjouer tous les cas particuliers

  • Un exemple

    • v1a est superposed ou on_edge
      • problème intrinsèque à la manipulation des réels
      • astuce: partager CL en deux


Créations des liens entre intersections

  • Liste des intersections retenues pour chaque arête

  • Algorithme



Joindre()?



Etapes de la fusion



Ajout des sommets non singuliers de Mn

  • Problème

    • maintenir la cohérence du polyèdre
  • Solution proposée

    • liens vers les premières intersections
    • ajout face par face


Ajout des sommets non singuliers de Mn

  • 2 liens ou plus : ajout direct

  • 0 ou 1 lien : traitement a posteriori



Résultat de la fusion



Morphing 3D

  • Paramétrisation

  • Fusion

  • Interpolation



Interpolation

  • Construire les arguments source et destination

  • Les interpoler linéairement

  • Avant tout…

    • Triangulation de la fusion
      • parcours des facettes de Hc,
      • subdivision (algorithme récursif) en commençant par les angles les plus grands.


Résultats de la triangulation



Résultats de la triangulation



Résultats de la triangulation



Construction des arguments

  • On a:

    • connectivité n et géométrie n,
    • leur union représentée par Mn,
    • connectivité n+1 et géométrie n+1,
    • leur union représentée par Mn+1,
    • la connectivité fusion.
  • On voudrait,

    • l ’union de la connectivité fusion et de la géométrie n => argument source,
    • l ’union de la connectivité fusion et de la géométrie n+1 => argument destination.


Application des géométries n et n+1

  • Données disponibles pour un sommet v de Hc



Calcul des coordonnées barycentriques

  • Coordonnées des sommets de Mn dans Hn+1

    • calcul au moment de la rétro-projection,
    • direct sur grille uniforme avec coordonnées cartésiennes (i,j).
  • Si v est non singulier de Mn+1

    • parcourir chaque facette de Hn,
    • si v est dans la facette
      • calculer ses coordonnées barycentriques dans la facette.


Application d ’une texture à Fn et Fn+1

  • Texture de Fn : I0

    • sommets ne provenant pas de Mn : combinaison barycentrique des textures des sommets de Mn voisins.
  • Texture de Fn+1 : I5



Calcul des modèles intermédiaires

  • Interpolation linéaire



Introduction

  • Introduction

  • Contexte

  • Travail réalisé

  • Résultats

  • Conclusion



Résultats Saut géométrique/topologique



Résultats Saut géométrique/topologique



Résultats Reconstruction de la séquence



Résultats Navigation virtuelle



Résultats Défauts

  • Flou dans certains GOP

    • cause:mise en correspondance inexacte lors de la paramétrisation de Mn
  • Méthode lourde à l ’encontre du schéma de reconstruction temps réel



Introduction

  • Introduction

  • Contexte

  • Travail réalisé

  • Résultats

  • Conclusion



Conclusion

  • Vrai morphing tridimensionnel

    • suppression des sauts topologiques
    • suppression des sauts géométriques
    • suppression de l ’effet ghost
  • Mais…

    • GOP pièges à gérer
    • perspective temps réel


Perspectives

  • Poursuivre les tests sur la fusion pour gérer des cas particuliers non traités

  • Gestion des GOP pièges

    • tenter une paramétrisation moins contrainte
  • Problème du temps réel

    • calcul des arguments de l ’interpolation au codage
  • Amélioration du rendu

    • interpolation plus courbe


Questions? Remarques?



Yüklə 445 b.

Dostları ilə paylaş:




Verilənlər bazası müəlliflik hüququ ilə müdafiə olunur ©muhaz.org 2024
rəhbərliyinə müraciət

gir | qeydiyyatdan keç
    Ana səhifə


yükləyin