Réseaux de neurones artificiels «qui se ressemble s’assemble : les noyaux» S. Canu, laboratoire psi, insa de Rouen

Réseaux de neurones artificiels « qui se ressemble s’assemble : les noyaux »

• S. Canu,

• laboratoire PSI, INSA de Rouen

• équipe « systèmes d’information pour l’environnement »

• psichaud.insa-rouen.fr/~scanu

Apprentissage

Les méthodes à base de Noyau

Zone d’influence

Règle de décision

Mise en œuvre

Pour b « grand »

Pour b plus petit

Noyau

Noyau

Noyau « matlab »

Avec rejet

Noyaux avec rejets

Est-ce une bonne idée ? Oui si c’est universellement consistant

Comment choisir G : Autres noyaux

Exemples de noyaux

Universellement consistant

Comment interpréter le règle de décision ? Estimation de densité par des noyaux Fenêtres de Parzen

Discrimination avec les noyau de Parzen : règle du MAP (3 classes)

MAP sur 3 classes

Exemple sur 3 classes

Comment choisir b ?

Méthode linéaire méthode « des potentiels »

Méthodes non linéaires : les RBF

Inconvénient des noyaux la malédiction de la dimensionnalité

Densité de l’échantillonnage

• n points pour d dimensions

• X ~ N(0,1) d

• x = randn(10000,100)
• proj = x * x(1,:)’;
• hist(proj./proj(1))

• X ~ U(0,1) d

• dist(n,d) = Ej(mini |xi-xj|)

Conclusion

Conclusion