Monitoring Détection de séquences vidéo en temps réel dans une grande base de données

Monitoring Détection de séquences vidéo en temps réel dans une grande base de données

• Julien Law-to
• 28/05/2004

Prototype actuel

• Détection d'images clefs

• Détection de points d'intérêt par Harris

• Signature par dérivées spatiales

Problèmes du prototype actuel

• Faible dispersion des points d'intérêts

• Rayon de recherche trop grand (robustesse aux transformations classiques à augmenter tout en gardant la discriminance)

• Faible robustesse à un décalage de plus de 1 pixel du point d'intérêt

• Détection d'images clefs peu satisfaisante : on voudrait utiliser des évènements spatio temporels

Contribution

• Trouver/utiliser/créer un détecteur et un descripteur de points d'intérêt plus robuste, discriminant et le moins couteux possible en temps de calcul.

• Penser à d'autres applications de ces signatures au delà du monitoring

Bilan bibliographique

• Les détecteurs de points d'intérêt

• Les descripteurs

• Les comparaisons de descripteurs et detecteurs

Les détecteurs de points d'intérêt

• Détection de points d intérêt :

• Harris :
• C.Harris, M. Stephens. A combined corner and edge detector. Proceedings 4th Alvey Visual Conference 1988
• SUSAN :
• S. Smith, J. Brady. Susan – a new approach to low level image processing.International Journal of Computer Vision, 1991
• Feature point detector :
• B.Zitova, J. Flusser, J. Kautsky, G. Peter. Feature point detection in multiframe images. Pattern Recognition Letters 1999

Les détecteurs de points d'intérêt(2)

• Détection par ondelettes (salient point)

• E. Loupias, N. Sebe. Wavelet-based salient point for image retrieval.Resarch Report INSA Lyon 2000

• Par Contraste :

• S. Bres, J.M. Jolion. Detection of interest points for image indexing.Int. Conf. On Visual Inf. Systems, Visual 99 1999

• Symétrie :

• D. Reisfeld, H. Wolfson, Y. Yeshurun. Context Free Attentional Operators:the generalized Symmetry Transform. International Journal of Computer Vision 1995

Les détecteurs de points d'intérêt (3)

• SIFT : (Multi echelle combiné a Harris)

• D. Lowe. Object recognition from Local Scale-Invariant Features. International Conference on Computer Vision 1999
• D. Lowe. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision 2004

• Spatio temporel :

• I. Laptev, T. Lindeberg. Space Time Interest Points. International Conference on Computer Vision 2003
• I. Laptev, T. Lindeberg. Interest point detection and scale selection in space-time. Scale Space Methods in Computer Vision 2003
• I. Laptev. Local Spatio Temporal Image Features for Motion Interpretation. Thèse présentée en juin 2004

Les descripteurs

• SIFT et PCA SIFT

• D. Lowe. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision 2004
• Y. Ke,R. Sukthankar. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors.Computer Vision and Pattern Recognition, 2004

• Descripteur basé sur la phase

• G. Carneiro, A. Jepson. Phase-based Local Features. Proceedings of the European Conference on Computer Vision (ECCV). Copenhagen, Denmark, 2002.

• Texture, Filtre de Gabor

• C. Wolf. Content based Image Retrieval using Interest Points and Texture Features. Technical Report, 2000.

Les descripteurs (2)

• Dérivées spatiales

• Spatio temporel

• I. Laptev, T. Lindeberg. Local Descriptors for Spatio-Temporal Recognition. Spatial Coherence for Visual Motion Analysis 2004

Comparaison

• Comparateur de détecteurs

• C. Schmid, R. Mohr, C. Bauckhage.Evaluation of Interest Point Detectors. International Journal of Computer Vision 2000
• C. Schmid, R. Mohr, C. Bauckhage. Comparing and Evaluating Interest Points. International Conference of Computer Vision 1998
• N. Sebe, M. Lew. Comparing Salient point detectors. Pattern Recognition Letter 2003.

• Comparateur de descripteurs

• K. Mikolajczk, C. Schmid.A performance evaluation of local descriptors.Conference on Computer Vision and Pattern Recognition 2003.

Pistes intéressantes

• Travailler sur du multi échelle à la manière du SIFT

• Les points d'intérêt sont plus dispersés
• On est plus robuste aux zooms

• Utiliser descripteur moins sensible a un décalage de plus de 1 pixel

• Descripteur plus global : Texture (Gabor)
• Filtre à trou

• Etudier l'aspect temporel

Quelques images

• Detecteur de Harris utilisé dans le proto

Quelques images

• Detecteur SIFT

Quelques images

• Detecteur de Harris utilisé dans le proto

Quelques images

• Detecteur SIFT

Idées diverses

• Pour les détecteurs, faire un premier passage avec un seuil bas pour ne garder que quelques points et faire une detection plus rigoureuse sur ceux-ci.

• Combiner plusieurs descripteurs et créer ainsi plusieurs (2,3) bases de descripteurs

• Faire différent niveau de recherche

Programme envisagé à priori

• court terme :

• M'intéresser à la reconnaissance dans la base telle qu'elle est développé dans le prototype
• Entrer dans le proto
• Définir un critère numérique d'évaluation de la qualité d'un descripteur

• moyen terme :

• Tester et évaluer des descripteurs
• Développer un detecteur et un descripteur adapté à notre application

Programme envisagé à posteriori (1)

• Descripteur : utiliser 3 descripteurs très simples :

• Invariant de translation
• Invariant en rotation
• Invariant en luminance

• Comment combiner ces 3 descropteurs pour retrouver la transformation ? (plutot que de les utiliser indépendemment)

• Voir les travaux de Remy Megret (INSA Lyon)

Programme envisagé à posteriori (2)

• Faire une bibliographie sur la focalisation d'attention, la psychovision

• Articles déjà à l'étude :
• Yu-Fei Ma, Hong-Jiang Zhang. Contrast-based Image Attention Analysis by Using Fuzzy Growing. ACM international conference on Multimedia 2003
• L. Itty, C. Koch, E. Niebur. A Model of Saliency-Based Visual Attention for Rapid Scene Analysis. AIEEE Transactions on Pattern analysis and Machine Intelligence 1998
• Y. Sun, R. Fisher. Object-based Visual Attention for Computer Vision. Artificial Intelligence 2003