Dea perception et Traitement de l’Information Reconnaissance des formes

DEA Perception et Traitement de l’Information

• Reconnaissance des formes

• Apprentissage linéaire

• S. Canu

• http://psichaud.insa-rouen.fr/~scanu/RdF

RdF et apprentissage

Discrimination Linéaire

Estimation... et rêve

Stratégies d’estimation

• Minimiser les erreurs

• moindres carrées
• adaline
• perceptron
• le neurone formel

• estimer les paramètres

• max de vraisemblance, puis règle de Bayes

• minimiser un autre critère

• analyse discriminante de Fisher

Moindres carrés

Résistance aux « outliers »

Moindre carrés « stochastiques » ADALINE (Widrow Hoff 1960)

Algorithme de gradient : illustration dans le plan w1,w2

3 solutions

Algorithme itératif

ADALINE, Ça marche...

ADALINE des fois ça ne marche pas…

Le Perceptron, des fois ça ne marche pas...

Règle du perceptron (Rosenblatt 1958)

Règle du perceptron (Rosenblatt 1958)

Règle du perceptron (Rosenblatt 1958)

Convergence des algorithmes de gradient

Performances des algorithmes linéaires

Performances des algorithmes linéaires

Maximum de vraisemblance

Analyse discriminante de Fisher 2 classes

Analyse discriminante de Fisher multi classes

Analyse discriminante de Fisher multi classes

AD en matlab

Conclusion : discrimination linéaire

Apprentissage bayésien

Malédiction de la dimensionalité

• Un problème inatendu

• estimation de la matrice de covariance

• capacité d’un classifieur linéaire

• le problème de l’erreur moyenne !

Estimation du taux d’erreur