Estimation fonctionnelle à l’aide de S.V.M. Stéphane Canu et Jean Pierre Yvon I.N.S.A. - P.S.I....
Preview:
Citation preview
- Page 1
- Estimation fonctionnelle laide de S.V.M. Stphane Canu et Jean
Pierre Yvon I.N.S.A. - P.S.I. I.N.S.A. - Rennes
http://lmrserv.insa-rouen.fr/~scanu/
- Page 2
- 2 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 SVM radiales
- Page 3
- 3 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Plan discrimination linaire : cas sparable
discrimination linaire : cas non sparable discrimination
quadratique SVM radiales le principe les 3 hyper-paramtres de
rgularisation rsultats sur les donnes du verre et les voyelles les
cas de la rgression
- Page 4
- 4 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Sparateur linaire et vecteurs support
- Page 5
- 5 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Classification linaire - le cas sparable
tout le monde est bien class
- Page 6
- 6 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Classification linaire - le cas sparable si
(w,b) vrifie les contraintes, ( w, b) les vrifie aussi... solution
: = w = b = 0 !
- Page 7
- 7 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Classification linaire - le cas
sparable
- Page 8
- 8 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Classification linaire le cas sparable
- Page 9
- 9 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Classification linaire le cas sparable = H c
Solution sans contraintes : = H c
- Page 10
- 10 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Intgration des contraintes dgalit 0 0 = H c
y y
- Page 11
- 11 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 intgration des contraintes dingalit tantque
( ) ne vrifient pas les conditions doptimalit = M -1 b -- et = - H
+ c + y si
- 28 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Les trois paramtres de rgularisation C : la
borne sup 0 < < C : la largueur du noyau : K (x,y)
rgularisation du systme linaire H =b => (H+ I) =b
- Page 29
- 29 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Les trois paramtres de rgularisation C : la
borne sup 0 C : la largueur du noyau : K (x,y) rgularisation du
systme linaire H =b => (H+ I) =b
- Page 30
- 30 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Leffet de la borne sup
- Page 31
- 31 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Noyau troit et C grand
- Page 32
- 32 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Noyau large - C grand
- Page 33
- 33 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Noyau large et C petit
- Page 34
- 34 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Les donnes de Ripley Glass Kppv : 74% Denux
: 72 % SVM : 72 % (petite triche) 200 points (89+96) dimension 9 4
classes Nato ASI - Neural networks and statistics - Ripley pp 45 53
37 22 nombre d'erreurs total avec rejet nombre d'accepte et de
rejetes 27.0000 27.0000 96.0000 0 0.2812
- Page 35
- 35 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Ripley
- Page 36
- 36 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Voyel
+------------------------------------+--------+---------+---------+
| | no. of | no. | perce | | Classifier | hidde |correc| corre | |
units | | |
+------------------------------------+--------+---------+---------+
| Single-layer perceptron | - | 154 | 33 | | Multi-layer perceptron
| 88 | 234 | 51 | | Multi-layer perceptron | 22 | 206 | 45 | |
Multi-layer perceptron | 11 | 203 | 44 | | Modified Kanerva Model |
528 | 231 | 50 | | Modified Kanerva Model | 88 | 197 | 43 | |
Radial Basis Function | 528 | 247 | 53 | | Radial Basis Function |
88 | 220 | 48 | | Gaussian node network | 528 | 252 | 55 | |
Gaussian node network | 88 | 247 | 53 | | Gaussian node network |
22 | 250 | 54 | | Gaussian node network | 11 | 211 | 47 | | Square
node network | 88 | 253 | 55 | | Square node network | 22 | 236 |
51 | | Square node network | 11 | 217 | 50 | | Nearest neighbour |
- | 260 | 56 |
+------------------------------------+--------+---------+---------+
SVM 58 % MARS 58 % Denux 63 % Prononciation des voyelles 500 + 500
dimension 10 11 classes
- Page 37
- 37 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 SVM pour la rgression...
- Page 38
- 38 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 SVM pour la rgression...
- Page 39
- 39 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 SVM pour la rgression...
- Page 40
- 40 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 SVM pour la rgression
- Page 41
- 41 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Une solution... pas gniale
- Page 42
- 42 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Exemple...
- Page 43
- 43 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 petit et aussi
- Page 44
- 44 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 une autre manire de voir les choses
- Page 45
- 45 Estimation fonctionnelle et SVM -CEMAGREFF- Evaluation de
modles 30 Janvier 1998 Conclusion SVM : slection des points
importants NIPS workshop - svm.cs.rhbnc.ac.uk Matlab code
disponible - scanu@insa-rouen.fr Problmes : - problmes multi
classes - petite erreur