Stéphane Canu, insa de Rouen, psi andré Elisseeff, eric, université de Lyon

Pourquoi les réseaux de neurones de type « perceptron multicouche » conviennent-ils à l’apprentissage

• Stéphane Canu, INSA de Rouen , PSI

• André Elisseeff, ERIC, université de Lyon

• http://psichaud.insa-rouen.fr/~scanu/

RNA de type PMC

Motivations

Le problème d’apprentissage

Le problème d’apprentissage

Apprentissage à partir d'exemples

• Données : (xi,yi) i=1,n

• Principe inductif : Minimisation risque empirique

• Ce n’est pas suffisant ...

Pourquoi le principe du MRE n’est pas suffisant ?

• B trop grand :

• tout apprendre = apprendre n’importe quoi

• Solution instable

Pourquoi le principe du MRE n’est pas suffisant ?

• B trop grand :

• tout apprendre = apprendre n’importe quoi

• Solution instable

Pourquoi le principe du MRE n’est pas suffisant ?

• B trop grand :

• tout apprendre = apprendre n’importe quoi

• Solution instable

M.R.E.: comment stabiliser ? deux principes.

• Ce problème est mal posé

• EP est instable
• B est trop grand

• Il faut introduire un a priori

• compactifier = régulariser (Tikhonov 63, Groetsch 93)
• Stabilisateur (pénalisation),
• Arrêt de la minimisation,
• Perturber les entrées,...
• Minimiser dans un sous ensemble F de B

Minimisation du risque empirique

Minimisation du risque empirique

Minimisation du risque empirique

Mesure de Qualité

•  : F R

• f (f)

Mesure de Qualité

•  : F R

• f (f)

Mesure de Qualité

•  : F R

• f (f)

Exemple d’a priori

• (f)

• mesure la “qualité” de f

Exemple d’a priori

• (f)

• mesure la “qualité” de f

Choix de l’a priori

Choix de l’a priori

Choix de l’a priori dérivée de Radon-Nikodym

exemple

Choix de (f) a priori

• Solution : r(x) = Arg

• r(x) = r (x) + r (x)

• « locale » (r ) = 0

• les a priori des perceptrons multicouches

• tanh(x) : “globale” (tanh) = 0

Minimisation du risque régularisé

de Q à G

de Q à G

estimation des c

Estimation des c et des d

Exemple

Une Solution Mixte

• r(x) = r (x) + r (x)

• R.B.F + P.M.C

• Un cadre théorique possible

Perspectives

Régression spline et a priori

• f = Qf Q*Q G = 

• f(x) =  ci G(xi,x) +  dj Kerj(x)

• moindres carrés :

• (G +  I) c = y
• Noyau équivalent : f(x) =  yi K(xi,x)
• Matrice de lissage : f(xi) = S y

Les autres fonctions couts

• Cout quadratique

• Cout absolu

• Cout relatif absolu

• Relatif quadratique

• Quantiles

• Fixé par l’utilisateur, ...

Minimisation du Risque Empirique (M.R.E.)

• Ce problème est mal posé

• car B est trop grand !
• existence d’une solution
• unicité
• stabilité de l’erreur en prédiction EP

• si (xi,yi) change un peu, EP varie peu

Minimisation du risque structurel

• Minimisation risque empirique

Minimisation du risque structurel

Moindres carrés