Résumé :
Dans ce travail de thèse, nous nous intéressons à l'utilisation des bases de données médicales multimédia pour l'aide à la décision diagnostique et le suivi thérapeutique. Notre objectif est de définir des méthodes, et un système, pour sélectionner dans les bases de documents multimédia des documents similaires à un document proposé en requête. Ces documents contiennent des informations sous forme texte, numérique, des images et parfois des séquences vidéos. Pour l'aide au diagnostic, l'interrogation du système s'effectue en lui présentant en requête le dossier patient, ou une partie de ce dossier. Notre travail va donc mettre en œuvre des méthodes relatives au raisonnement à base de cas (CBR : Case Based Reasoning), à la fouille de données, à la recherche d’images par le contenu (CBIR : Content Based Image Retrieval) et à la rechercher de vidéo par le contenu (CBVR : Content Based Video Retrieval). Les méthodes sont évaluées sur trois bases de données médicales multimodales. La première base de données étudiée est une base d’images rétiniennes, constituée au LaTIM pour l’aide au suivi de la rétinopathie diabétique. La seconde base est une base publique de mammographies (Digital Database for Screening Mammography, DDSM University of South Florida). La troisième base de données est une base de vidéo gastro-entérologie constituée aussi au LaTIM. Nous utilisons cette base pour étudier les possibilités d'utilisation des méthodes développées dans le cadre de la recherche d’images fixes, pour la recherche de séquences vidéos couleurs.
Dans la première partie de notre travail, nous cherchons à caractériser individuellement chaque image du dossier patient. Nous avons poursuivi les travaux effectués dans le laboratoire sur l’utilisation des méthodes globales de caractérisation des images dans le domaine compressé (quantification vectorielle, DCT, JPEG-ondelettes, ondelettes adaptées) pour la recherche d’images. Les résultats obtenus avec les ondelettes, comparés aux autres méthodes de compression ont montré une grande amélioration en terme de retrouvaille. Cependant, les ondelettes nécessitent la spécification d'un noyau ou d'une fonction de base pour effectuer la décomposition. Pour pallier ce problème, nous avons proposé une méthode originale de caractérisation à partir de la décomposition BEMD des images (Bidimensionnal Empirical Mode Decomposition) :
elle permet de décomposer une image en plusieurs modes BIMFs (Bidimensionnel Intrinsic Mode Functions), qui permettent d'accéder à des informations sur le contenu fréquentiel des images. Une des originalités de la méthode provient de l’auto-adaptativite de la BEMD, qui ne nécessite pas une fonction de base pour effectuer la décomposition. Une fois les images caractérisées, la recherche s'effectue en calculant, au sens d'une métrique donnée, la distance entre la signature de l’image requête et les signatures des images de la base. Ce calcul permet de sélectionner des images en réponse à la requête en dehors de toute signification sémantique. Pour améliorer le résultat de retrouvaille, nous introduisons une technique d’optimisation pour le calcul de la distance entre signature, en utilisant les algorithmes génétiques.
Nous abordons ensuite le problème de la recherche de vidéos par le contenu. Pour cela, nous introduisons une méthode pour le calcul des signatures vidéo à partir des images clefs extraites par l’analyse du mouvement. La distance entre signatures vidéo est calculée en utilisant une technique basée sur l’analyse en composantes principales.
Enfin, nous intégrons les travaux précédents dans la requète par dossiers patients, qui contiennent plusieurs images ainsi que des informations textuelles, sémantiques et numériques. Pour cela nous utilisons trois méthodes développées dans le cadre d’une thèse récemment soutenue dans notre laboratoire : la première est basée sur les arbres de décision, la deuxième sur les réseaux bayésiens et la troisième sur la théorie de Dezert-Smarandache (DSmT).
Mots clés :
Indexation, recherche d’images par le contenu, recherche de vidéos par le contenu, BEMD, fusion sémantique/numérique.
Medical information indexing. Application in the content based images and videos retrieval
Abstract :
This PhD thesis addresses the use of multimedia medical databases for diagnostic decision and therapeutic follow-up. Our goal is to develop methods and a system to select in multimedia databases documents similar to a query document. These documents consist of text information, numeric images and sometimes videos. In the proposed diagnosis aid system, the database is queried with the patient file, or a part of it, as input. Our work therefore involves implementing methods related to Case-Based Reasoning (CBR), data mining, Content Based Image Retrieval (CBIR) and Content Based Video Retrieval (CBVR). These methods are evaluated on three multimodal medical databases. The first database consists of retinal images collected by the LaTIM laboratory for aided diabetic retinopathy follow-up. The second database is a public mammography database (Digital Database for Screening Mammography – DDSM –) collected by the University of South Florida. The third database consists of gastroenterology videos also collected by the LaTIM laboratory. This database is used to discover whether methods developed for fixed image retrieval can also be used for color video retrieval.
The first part of this work focuses on the characterization of each image in the patient file. We continued the work started in our laboratory to characterize images globally in the compressed domain (vector quantization, DCT-JPEG, wavelets, adapted wavelets) for image retrieval. Compared to other compression methods, the wavelet decomposition led to a great improvement in terms of retrieval performance. However, the wavelet decomposition requires the specification of a kernel or basis function. To overcome this problem, we proposed an original image characterization method based on the BEMD (Bidimensionnal Empirical Mode Decomposition). It allows decomposing an image into several BIMFs (Bidimensionnal Intrinsic Mode Functions) that provide access to frequency information of the image content. An originality of the method comes from the self-adaptivity of BEMD: it does not require the specification of a basic function. Once images are characterized, a similarity search is performed by computing the distance between the signature of the query image and the signature of each image in the database, given a metric. This process leads to the selection of similar images, without semantic meaning. An optimization process, based on genetic algorithms, is used to adapt the distance metric and thus improve retrieval performance.
Then, the problem of content based video retrieval is addressed. A method to generate video signatures is presented. This method relies on key video frames extracted by movement analysis. The distance between video signatures is computed using a Principal Component Analysis (PCA) based technique.
Finally, the proposed methods are integrated into the framework of patient file retrieval (each patient file consisting of several images and textual information). Three methods developed during a PhD thesis recently defended in our laboratory are used for patient file retrieval: the first approach is based on decision trees and their extensions, the second on Bayesian networks and the third on the Dezert-Smarandache theory (DSmT).
Key Word:
indexing, Content-Based Image Retrieval, Content-Based Video Retrieval, semantic and numerical fusion.
Plateforme numérique pour la valorisation des documents patrimoniaux et scientifiques
Par
EL BANNAY omar
Champs Disciplinaire : Informatique
UFR : Informatique Avancée
Soutenu le : 18/09/2010
Membres de jury :
Rachid BENSLIMANE, President
|
Ecole Supérieure de Technologie, Fès
|
Noureddine RAIS, Encadrant
|
Faculté des Sciences Dhar Mahraz, Fès
|
Noureddine CHENFOUR, Rapporteur
|
Faculté des Sciences Dhar Mahraz, Fès
|
Taoufik GADI, Rapporteur
|
Faculté des Sciences et Technique, Settat
|
Mohammed MEKNASSI, Membre
|
Faculté des Sciences Dhar Mahraz, Fès
|
Mohammed LAMRINI, Membre
|
Faculté des Sciences Dhar Mahraz, Fès
|
Hassan HARNAN, Membre
|
Bibliothèque Nationale Quaraouyine Fès
|
Dostları ilə paylaş: |