212
logo Utilisation des m ´ ethodes Support Vector Machine (SVM) dans l’analyse des bases de donn ´ ees Abdelhamid DJEFFAL Encadr ´ e par: M.C. BABAHENINI Co-Encadr ´ e par: A. TALEB-AHMED epartement d’informatique, Laboratoire LESIA Universit ´ e de Biskra Mai 2012

Utilisation des méthodes Support Vector Machine (SVM) dans

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Utilisation des methodes Support VectorMachine (SVM) dans l’analyse des bases de

donnees

Abdelhamid DJEFFAL

Encadre par: M.C. BABAHENINICo-Encadre par: A. TALEB-AHMED

Departement d’informatique, Laboratoire LESIAUniversite de Biskra

Mai 2012

Page 2: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Plan

1 Problematique

2 Data mining

3 SVM

4 SVM & analyse des BDD

5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications

6 Conclusion

Page 3: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Outline

1 Problematique

2 Data mining

3 SVM

4 SVM & analyse des BDD

5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications

6 Conclusion

3

Page 4: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining

PropositionUtilisation des SVMs pour l’analyse des BDD

4

Page 5: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining

PropositionUtilisation des SVMs pour l’analyse des BDD

4

Page 6: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining

PropositionUtilisation des SVMs pour l’analyse des BDD

4

Page 7: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining

PropositionUtilisation des SVMs pour l’analyse des BDD

4

Page 8: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining

PropositionUtilisation des SVMs pour l’analyse des BDD

4

Page 9: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

MotivationsLe developpement du data mining et utilisation dans lesgrand SGBDLe developpement des SVMs et leurs applications dansplusieurs domainesLe developpement continu des volumes des BDDsInsuffisances et lacunes des techniques de data mining

PropositionUtilisation des SVMs pour l’analyse des BDD

4

Page 10: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?

5

Page 11: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?

5

Page 12: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?

5

Page 13: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?

5

Page 14: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Motivations de la these

ContraintesDans quel niveau d’analyse ?Pour quelles taches ?Que faire face aux specificites des BDD ?Quelles adaptations pour les SVMs ?Comment assurer la scalabilite ?

5

Page 15: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Outline

1 Problematique

2 Data mining

3 SVM

4 SVM & analyse des BDD

5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications

6 Conclusion

6

Page 16: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Definition

Data mining

DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...

7

Page 17: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Definition

Data mining

DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...

7

Page 18: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Definition

Data mining

DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...

7

Page 19: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Definition

Data mining

DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...

7

Page 20: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Definition

Data mining

DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...

7

Page 21: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Definition

Data mining

DefinitionData mining, Fouilles de donnees , ECDUtilisation des techniques de: statistiques, IA,Optimisation, ...Pour decouvrir les modeles, les relations, les regles, lesmotifs, les patterns, ... qui se cachent dans les grandesquantites de donnees,Pour comprendre, aider a la decision, optimiser, ameliorer,...Dans les banques, les laboratoires, les supermarches, leshopitaux, ...

7

Page 22: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Processus

Processus de data mining

Analyse du problème

Collecte des données

BDD originales BDD initiales

BDD préparées

Préparation des données

Fouille de données

Modèles/patterns Motifs

Evaluation

Connaissances

Déploiement

8

Page 23: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Taches

Data mining

Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...

9

Page 24: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Taches

Data mining

Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...

9

Page 25: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Taches

Data mining

Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...

9

Page 26: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Taches

Data mining

Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...

9

Page 27: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Taches

Data mining

Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...

9

Page 28: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Taches

Data mining

Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...

9

Page 29: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Taches

Data mining

Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...

9

Page 30: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Taches

Data mining

Taches de data miningClassification,Regression,Clustering,Renforcement,Recherche des motifs frequents et des reglesd’association,Visualisation,...

9

Page 31: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Outline

1 Problematique

2 Data mining

3 SVM

4 SVM & analyse des BDD

5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications

6 Conclusion

10

Page 32: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Introduction

Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik

Principe

Classification binaire:yi = ±1Rechercher un hyperplande separation: w • x + b = 0Qui maximise la marge:

2‖w‖2

11

Page 33: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Introduction

Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik

Principe

Classification binaire:yi = ±1Rechercher un hyperplande separation: w • x + b = 0Qui maximise la marge:

2‖w‖2

11

Page 34: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Introduction

Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik

Principe

Classification binaire:yi = ±1Rechercher un hyperplande separation: w • x + b = 0Qui maximise la marge:

2‖w‖2

11

Page 35: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Introduction

Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik

Principe

Classification binaire:yi = ±1Rechercher un hyperplande separation: w • x + b = 0Qui maximise la marge:

2‖w‖2

11

Page 36: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Introduction

Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik

Principe

Resoudre l’equation:Minimiser 1

2 ‖w‖2 + C

n∑i=1

ξi

Avec yi(wT xi + b) ≥ 1− ξi ; i = 1..nξi ≥ 0

11

Page 37: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Introduction

Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik

SolutionIntroduire les multiplicateurs de Lagrange αi

Minimiser 12

n∑i=1

n∑j=1

αiαjyiyj⟨xi , xj

⟩−

n∑i=1

αi

Avecn∑

i=1αiyi = 0

0 ≤ αi ≤ C

La fonction de decision est: H(x) =n∑

i=1αiyi 〈xi , x〉+ b

11

Page 38: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Introduction

Support vector machinesUne methode d’apprentissage statistique due a Vladimir Vapnik

SolutionIntroduire les multiplicateurs de Lagrange αi

Minimiser 12

n∑i=1

n∑j=1

αiαjyiyj⟨xi , xj

⟩−

n∑i=1

αi

Avecn∑

i=1αiyi = 0

0 ≤ αi ≤ C

La fonction de decision est: H(x) =n∑

i=1αiyi 〈xi , x〉+ b

11

Page 39: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Utilisation des noyaux

y

x

φ

φ-1

Espace original Espace de caractéristiques

Espace original

12

Page 40: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Utilisation des noyaux

Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)

Lineaire: K (xi , xj) = xTi xj

Polynomial: K (xi , xj) = (xTi xj)

d

Gaussien: K (xi , xj) = e

(−‖xi−xj‖2

2σ2

)

...

12

Page 41: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Utilisation des noyaux

Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)

Lineaire: K (xi , xj) = xTi xj

Polynomial: K (xi , xj) = (xTi xj)

d

Gaussien: K (xi , xj) = e

(−‖xi−xj‖2

2σ2

)

...

12

Page 42: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Utilisation des noyaux

Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)

Lineaire: K (xi , xj) = xTi xj

Polynomial: K (xi , xj) = (xTi xj)

d

Gaussien: K (xi , xj) = e

(−‖xi−xj‖2

2σ2

)

...

12

Page 43: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Utilisation des noyaux

Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)

Lineaire: K (xi , xj) = xTi xj

Polynomial: K (xi , xj) = (xTi xj)

d

Gaussien: K (xi , xj) = e

(−‖xi−xj‖2

2σ2

)

...

12

Page 44: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Utilisation des noyaux

Noyau (Kernel)La transformation et son inverse sont calculees par unefonction reelle appelee Noyau K (xi , xj)

Lineaire: K (xi , xj) = xTi xj

Polynomial: K (xi , xj) = (xTi xj)

d

Gaussien: K (xi , xj) = e

(−‖xi−xj‖2

2σ2

)

...

12

Page 45: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Principe

Utilisation des noyaux

Le probleme dual a resoudre devient:Minimiser 1

2

n∑i=1

n∑j=1

αiαjyiyjK (xi , xj)−n∑

i=1αi

Avecn∑

i=1αiyi = 0

0 ≤ αi ≤ C

La fonction de decision est: H(x) =n∑

i=1αiyiK (xi , x) + b

12

Page 46: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Implementation

Implementation

OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi

Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)

Probleme avec les grands ensembles de donnees

13

Page 47: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Implementation

Implementation

OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi

Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)

Probleme avec les grands ensembles de donnees

13

Page 48: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Implementation

Implementation

OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi

Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)

Probleme avec les grands ensembles de donnees

13

Page 49: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Implementation

Implementation

OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi

Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)

Probleme avec les grands ensembles de donnees

13

Page 50: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Implementation

Implementation

OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi

Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)

Probleme avec les grands ensembles de donnees

13

Page 51: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Implementation

Implementation

OptimisationHeuristiquesSMO (Platt et al. 97)Optimiser a chaque iteration deux αi

Plusieurs packages: SVMlight, SVMTORCH, LibSVM ...Complexite O(MN2)

Probleme avec les grands ensembles de donnees

13

Page 52: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Architecture

Architecture

Vecteur x à tester

Vecteurs supports x1..xs

Fonction noyau K

Multiplicateurs

Fonction de décision

1 si f >0

autre sinon

K(x2,x) K(x1,x

K(xi,xj) K(xs,x) … K(xs-1,x)

𝑓𝑓 = �αiyiK(xi, x) + 𝑏𝑏

α1 α2 αs-1 αs

K(x1,x)

b

Décision Décision

14

Page 53: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Variantes

Variantes

SVM Multiclasse

H12

H14 H23

{1,2,3,4}

{2,3,4} {1, 3,4}

2 4 1

Ecarter 2 Ecarter 1

Ecarter 3 Ecarter 4

H24 H34 H13

Ecarter 3 Ecarter 2

{2,4} {3,4}

Ecarter 2

3

Ecarter 4 Ecarter 1

Ecarter 1

{1, 3}

Ecarter 3

Ecarter 4

X2 Classe 1

Classe 2

Classe 3

X1

H23(x)

H12(x)

H 13(x)

?

X2 Classe 1

Classe 2

Classe 3

X1

H1(x)

H2(x)

H3(x)

1 Vs Reste 1 Vs 1

DAG

15

Page 54: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Variantes

Variantes

SVM Monoclasse (Novelty detection)

Classe cible

Origine

15

Page 55: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Variantes

Variantes

SVM pour la regression (SVR)

y = wx + b y

x

y

x

φ φ-1

Espace original Espace de caractéristiques Espace original

15

Page 56: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Variantes

Variantes

SVM pour le clustering (SVC)

X1

X2

x1

x3

x4

x2

15

Page 57: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Variantes

Variantes

SVM pour le renforcement (Transductive)

X1

X2

+

+ +

+

-

-

-

-

Hyperplan sans renforcement

Hyperplan avec renforcement 15

Page 58: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Evaluation

Evaluation des SVMs

Technique d’evaluationHold Out (partie training + partie test)N Cross Validation (Leave One Out),Bootstrap (choix aleatoire des exemples d’entrainement).

16

Page 59: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Evaluation

Evaluation des SVMs

Technique d’evaluationHold Out (partie training + partie test)N Cross Validation (Leave One Out),Bootstrap (choix aleatoire des exemples d’entrainement).

16

Page 60: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Evaluation

Evaluation des SVMs

Technique d’evaluationHold Out (partie training + partie test)N Cross Validation (Leave One Out),Bootstrap (choix aleatoire des exemples d’entrainement).

16

Page 61: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Evaluation

Evaluation des SVMs

Technique d’evaluationHold Out (partie training + partie test)N Cross Validation (Leave One Out),Bootstrap (choix aleatoire des exemples d’entrainement).

16

Page 62: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Outline

1 Problematique

2 Data mining

3 SVM

4 SVM & analyse des BDD

5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications

6 Conclusion

17

Page 63: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Ou sont utilisees les BDDs

Bases de données

Images Son Web Textes …

Extraction des caractéristiques

Entrepôt de données (bases de données)

Analyse

Analyse

Connaissances (bases de données)

Acquisition

Extraction des connaissances

Visualisation et intégration

18

Page 64: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acquisition

Utilisation des SVMs pour l’acquisition

Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.

19

Page 65: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acquisition

Utilisation des SVMs pour l’acquisition

Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.

19

Page 66: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acquisition

Utilisation des SVMs pour l’acquisition

Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.

19

Page 67: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acquisition

Utilisation des SVMs pour l’acquisition

Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.

19

Page 68: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acquisition

Utilisation des SVMs pour l’acquisition

Preparation des BDDsLissage (SVR): elimination du bruit au niveau des attributs,Nettoyage (SVM, OCSVM, SVC): detection des exempleserrones, elimination des doublons, elimination des outliers,Reduction verticale (SVM): eliminations successives desattributs,Reduction Horizontale (OC-SVM, Multiclasse):eliminations des exemples redondants et de faibleimportance.

19

Page 69: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Extraction des connaissances

Utilisation des SVMs pour l’Extraction desconnaissances

Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)

20

Page 70: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Extraction des connaissances

Utilisation des SVMs pour l’Extraction desconnaissances

Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)

20

Page 71: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Extraction des connaissances

Utilisation des SVMs pour l’Extraction desconnaissances

Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)

20

Page 72: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Extraction des connaissances

Utilisation des SVMs pour l’Extraction desconnaissances

Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)

20

Page 73: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Extraction des connaissances

Utilisation des SVMs pour l’Extraction desconnaissances

Extraction des connaissancesClassification (mono, bi et multiclasse),Regression (SVR),Clustering (SVC)Renforcement (Transductive SVM)

20

Page 74: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Problemes

Attributs symboliquesUtilisation des noyaux symboliques (text mining)

Sac de motsp-spectrum,All Sub Sequences,...

Nombre eleve d’enregistrementUtilisation des techniques d’acceleration

SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).

21

Page 75: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Problemes

Attributs symboliquesUtilisation des noyaux symboliques (text mining)

Sac de motsp-spectrum,All Sub Sequences,...

Nombre eleve d’enregistrementUtilisation des techniques d’acceleration

SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).

21

Page 76: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Problemes

Attributs symboliquesUtilisation des noyaux symboliques (text mining)

Sac de motsp-spectrum,All Sub Sequences,...

Nombre eleve d’enregistrementUtilisation des techniques d’acceleration

SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).

21

Page 77: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Problemes

Attributs symboliquesUtilisation des noyaux symboliques (text mining)

Sac de motsp-spectrum,All Sub Sequences,...

Nombre eleve d’enregistrementUtilisation des techniques d’acceleration

SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).

21

Page 78: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Problemes

Attributs symboliquesUtilisation des noyaux symboliques (text mining)

Sac de motsp-spectrum,All Sub Sequences,...

Nombre eleve d’enregistrementUtilisation des techniques d’acceleration

SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).

21

Page 79: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Problemes

Attributs symboliquesUtilisation des noyaux symboliques (text mining)

Sac de motsp-spectrum,All Sub Sequences,...

Nombre eleve d’enregistrementUtilisation des techniques d’acceleration

SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).

21

Page 80: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Problemes

Attributs symboliquesUtilisation des noyaux symboliques (text mining)

Sac de motsp-spectrum,All Sub Sequences,...

Nombre eleve d’enregistrementUtilisation des techniques d’acceleration

SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).

21

Page 81: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Problemes

Attributs symboliquesUtilisation des noyaux symboliques (text mining)

Sac de motsp-spectrum,All Sub Sequences,...

Nombre eleve d’enregistrementUtilisation des techniques d’acceleration

SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).

21

Page 82: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Problemes

Attributs symboliquesUtilisation des noyaux symboliques (text mining)

Sac de motsp-spectrum,All Sub Sequences,...

Nombre eleve d’enregistrementUtilisation des techniques d’acceleration

SVM online,Parallelisation,Reduction d’exemples (contribution 1),Techniques d’acceleration (contribution 2).

21

Page 83: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Integration des SVMs dans les SGBDUtiliser les outils SGBDs dans l’entrainement des SVMs,Utiliser le jargon SGBD (SQL, PL) pour l’utilisation desSVMs,Exemple d’Oracle.

22

Page 84: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Integration des SVMs dans les SGBDUtiliser les outils SGBDs dans l’entrainement des SVMs,Utiliser le jargon SGBD (SQL, PL) pour l’utilisation desSVMs,Exemple d’Oracle.

22

Page 85: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Integration des SVMs dans les SGBDUtiliser les outils SGBDs dans l’entrainement des SVMs,Utiliser le jargon SGBD (SQL, PL) pour l’utilisation desSVMs,Exemple d’Oracle.

22

Page 86: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Problemes d’utilisation des SVMs

Integration des SVMs dans les SGBDUtiliser les outils SGBDs dans l’entrainement des SVMs,Utiliser le jargon SGBD (SQL, PL) pour l’utilisation desSVMs,Exemple d’Oracle.

22

Page 87: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Outline

1 Problematique

2 Data mining

3 SVM

4 SVM & analyse des BDD

5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications

6 Conclusion

23

Page 88: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Contribution 1: CB-SR

Observations1 Les vecteurs non support

n’ont aucune influence surl’hyperplan,

2 Selon V.Vapnik, les vecteurssupports representent 10%des exemples.

IdeeDecouvrir ces vecteurs et lesutiliser seuls pour l’apprentissage

24

Page 89: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Contribution 1: CB-SR

Observations1 Les vecteurs non support

n’ont aucune influence surl’hyperplan,

2 Selon V.Vapnik, les vecteurssupports representent 10%des exemples.

IdeeDecouvrir ces vecteurs et lesutiliser seuls pour l’apprentissage

24

Page 90: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Contribution 1: CB-SR

Observations1 Les vecteurs non support

n’ont aucune influence surl’hyperplan,

2 Selon V.Vapnik, les vecteurssupports representent 10%des exemples.

IdeeDecouvrir ces vecteurs et lesutiliser seuls pour l’apprentissage

24

Page 91: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Contribution 1: CB-SR

Observations1 Les vecteurs non support

n’ont aucune influence surl’hyperplan,

2 Selon V.Vapnik, les vecteurssupports representent 10%des exemples.

IdeeDecouvrir ces vecteurs et lesutiliser seuls pour l’apprentissage

24

Page 92: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Contribution 1: CB-SR

Travaux anterieurs sur la reduction d’exemplesLiu & Feng, 2008Kernel Bisecting k-means clusteringA. Arslan, 2008Clustering k-NNLin &. Yeh, 2009Reduction basee sur les algorithmes genetiques

24

Page 93: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Contribution 1: CB-SR

Travaux anterieurs sur la reduction d’exemplesLiu & Feng, 2008Kernel Bisecting k-means clusteringA. Arslan, 2008Clustering k-NNLin &. Yeh, 2009Reduction basee sur les algorithmes genetiques

24

Page 94: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Contribution 1: CB-SR

Travaux anterieurs sur la reduction d’exemplesLiu & Feng, 2008Kernel Bisecting k-means clusteringA. Arslan, 2008Clustering k-NNLin &. Yeh, 2009Reduction basee sur les algorithmes genetiques

24

Page 95: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Contribution 1: CB-SR

Travaux anterieurs sur la reduction d’exemplesLiu & Feng, 2008Kernel Bisecting k-means clusteringA. Arslan, 2008Clustering k-NNLin &. Yeh, 2009Reduction basee sur les algorithmes genetiques

24

Page 96: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Covering Based Samples Reduction

FiltrageDetecter les vecteurssupports potentiels par deshyperplans locaux

RevisionRajouter les exempleseventuellement ecartes parerreur.

25

Page 97: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Covering Based Samples Reduction

FiltrageDetecter les vecteurssupports potentiels par deshyperplans locaux

RevisionRajouter les exempleseventuellement ecartes parerreur.

25

Page 98: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Covering Based Samples Reduction

FiltrageDetecter les vecteurssupports potentiels par deshyperplans locaux

RevisionRajouter les exempleseventuellement ecartes parerreur.

25

Page 99: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Zone de couvertureLa zone de couverture de xi par rapporta xk = Zone delimitee par H+

ik et H−ik :xj / −1 ≤ Hik (xj) ≤ 1

Couverturexi ∈ yi(±1) est couvert par xj ∈ yi parrapport a xk ∈ yk = −yi si xj se situedans la zone de couverture de xi parrapport a xk . mais ...

X2

X1

X2 X4

xi

xk

Zone de couverture de xi

par rapport à xk

Hik=-1

Hik=+1

xj

Classe + Classe -

26

Page 100: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Zone de couvertureLa zone de couverture de xi par rapporta xk = Zone delimitee par H+

ik et H−ik :xj / −1 ≤ Hik (xj) ≤ 1

Couverturexi ∈ yi(±1) est couvert par xj ∈ yi parrapport a xk ∈ yk = −yi si xj se situedans la zone de couverture de xi parrapport a xk . mais ...

X2

X1

X2 X4

xi

xk

Zone de couverture de xi

par rapport à xk

Hik=-1

Hik=+1

xj

Classe + Classe -

26

Page 101: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Couverture mutuelleOn dit que xi et xj ∈ yi(±1) sontmutuellement couvert par rapport axk ∈ yk = −yi si chacun se situe dans lazone de couverture de l’autre.

Couverturexi ∈ yi(±1) est couvert par xj ∈ yi parrapport a xk ∈ yk = −yi si xj se situedans la zone de couverture de xi parrapport a xk et xi ne se situe pas dans lazone de couverture de xj par rapport a xk

X2

X3

X4

xi

xk

xj

Couverture de xi

par rapport à xk

Couverture de xj

par rapport à xk

Hik=-1

Hjk=-1

Hjk=+1

Hik=+1

Classe - Classe + X2

X1

26

Page 102: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Couverture mutuelleOn dit que xi et xj ∈ yi(±1) sontmutuellement couvert par rapport axk ∈ yk = −yi si chacun se situe dans lazone de couverture de l’autre.

Couverturexi ∈ yi(±1) est couvert par xj ∈ yi parrapport a xk ∈ yk = −yi si xj se situedans la zone de couverture de xi parrapport a xk et xi ne se situe pas dans lazone de couverture de xj par rapport a xk

X2

X3

X4

xi

xk

xj

Couverture de xi

par rapport à xk

Couverture de xj

par rapport à xk

Hik=-1

Hjk=-1

Hjk=+1

Hik=+1

Classe - Classe + X2

X1

26

Page 103: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Couverture totaleOn dit qu’un exemple xi d’une classe yi(±1) est totalementcouvert par rapport a la classe −yi , si pour tout exemple xk dela classe −yi , il existe un exemple xj de la classe yi qui couvrexi par rapport a xk :∃ xj non ecarte ∈ N+/(−1 ≤ Hik (xj) ≤ 1) et (−1 > Hjk (xi) ouHjk (xi) > 1)

FiltrageEcarter tous les exemples totalement couverts.

26

Page 104: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Couverture totaleOn dit qu’un exemple xi d’une classe yi(±1) est totalementcouvert par rapport a la classe −yi , si pour tout exemple xk dela classe −yi , il existe un exemple xj de la classe yi qui couvrexi par rapport a xk :∃ xj non ecarte ∈ N+/(−1 ≤ Hik (xj) ≤ 1) et (−1 > Hjk (xi) ouHjk (xi) > 1)

FiltrageEcarter tous les exemples totalement couverts.

26

Page 105: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Exemple recapitulatif

26

Page 106: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Exemple recapitulatif

26

Page 107: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Exemple recapitulatif

26

Page 108: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Exemple recapitulatif

26

Page 109: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Exemple recapitulatif

26

Page 110: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Exemple recapitulatif

26

Page 111: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Exemple recapitulatif

26

Page 112: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Exemple recapitulatif

26

Page 113: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Filtrage

Exemple recapitulatif

26

Page 114: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Tuning

Utilisation du parametre ρ

X2

X1

X2 X4

xi

xk

Zone de couverture de xi

par rapport à xk

Hik=-1

Hik=+1

xj

Classe + Classe -

ρ

ρ

27

Page 115: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Tuning

Effet: controle du taux de filtrage

27

Page 116: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Rajouter les exemples ecartes par erreurs

Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant

Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,

Optimisation: heuristiques et critere d’arret)

ResultatEcarter des vecteurs supports potentiels

28

Page 117: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Rajouter les exemples ecartes par erreurs

Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant

Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,

Optimisation: heuristiques et critere d’arret)

ResultatEcarter des vecteurs supports potentiels

28

Page 118: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Rajouter les exemples ecartes par erreurs

Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant

Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,

Optimisation: heuristiques et critere d’arret)

ResultatEcarter des vecteurs supports potentiels

28

Page 119: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Rajouter les exemples ecartes par erreurs

Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant

Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,

Optimisation: heuristiques et critere d’arret)

ResultatEcarter des vecteurs supports potentiels

28

Page 120: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Rajouter les exemples ecartes par erreurs

Pas toujoursUniquement si le taux de reconnaissance de l’hyperplan obtenun’est pas satisfaisant

Sources d’erreurs1 Le filtrage (ρ, noyau et ses parametres)2 L’apprentissage (noyau et ses parametres, C,

Optimisation: heuristiques et critere d’arret)

ResultatEcarter des vecteurs supports potentiels

28

Page 121: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Utiliser les conditions KKT: (Karush-Kuhn-Tucker)αi = 0⇒ yi f (xi) > 1 : exemples bien classesαi = C ⇒ yi f (xi) ≤ 1 : exemples mal classes0 < αi < C ⇒ yi f (xi) = 1 : vecteurs supports

28

Page 122: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Utiliser les conditions KKT: (Karush-Kuhn-Tucker)αi = 0⇒ yi f (xi) > 1 : exemples bien classesαi = C ⇒ yi f (xi) ≤ 1 : exemples mal classes0 < αi < C ⇒ yi f (xi) = 1 : vecteurs supports

28

Page 123: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Utiliser les conditions KKT: (Karush-Kuhn-Tucker)αi = 0⇒ yi f (xi) > 1 : exemples bien classesαi = C ⇒ yi f (xi) ≤ 1 : exemples mal classes0 < αi < C ⇒ yi f (xi) = 1 : vecteurs supports

28

Page 124: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Utiliser les conditions KKT: (Karush-Kuhn-Tucker)αi = 0⇒ yi f (xi) > 1 : exemples bien classesαi = C ⇒ yi f (xi) ≤ 1 : exemples mal classes0 < αi < C ⇒ yi f (xi) = 1 : vecteurs supports

28

Page 125: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions

KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de

l’hyperplan precedent (valeurs precedentes des αi )

ResultatObtenir un hyperplan final

28

Page 126: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions

KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de

l’hyperplan precedent (valeurs precedentes des αi )

ResultatObtenir un hyperplan final

28

Page 127: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions

KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de

l’hyperplan precedent (valeurs precedentes des αi )

ResultatObtenir un hyperplan final

28

Page 128: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions

KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de

l’hyperplan precedent (valeurs precedentes des αi )

ResultatObtenir un hyperplan final

28

Page 129: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions

KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de

l’hyperplan precedent (valeurs precedentes des αi )

ResultatObtenir un hyperplan final

28

Page 130: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions

KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de

l’hyperplan precedent (valeurs precedentes des αi )

ResultatObtenir un hyperplan final

28

Page 131: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Revision

Etapes de la revision1 Utiliser l’hyperplan obtenu dans la phase de filtrage,2 Mettre les αi des exemples ecartes a 0,3 Verifier les conditions KKT pour ces exemples,4 Ajouter les exemples qui ne verifient pas les conditions

KKT a l’ensembles des exemples filtres,5 Recommencer un nouvel apprentissage en demarrant de

l’hyperplan precedent (valeurs precedentes des αi )

ResultatObtenir un hyperplan final

28

Page 132: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Donnees utilisees pour les tests

Tests sur:1 Des donnees artificielles: type Toy2 Des donnees reelles du cite UCI

Tables

Table NAtt N NEntr NTestGermen 24 1000 500 500Diabetes 8 768 384 384Tow Spiras 2 3000 300 2700Tow Ellipses 2 3000 300 2700Cancer Analysis 32 596 596 596Segmentation 19 2309 2309 2309

29

Page 133: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Donnees utilisees pour les tests

Tests sur:1 Des donnees artificielles: type Toy2 Des donnees reelles du cite UCI

Tables

Table NAtt N NEntr NTestGermen 24 1000 500 500Diabetes 8 768 384 384Tow Spiras 2 3000 300 2700Tow Ellipses 2 3000 300 2700Cancer Analysis 32 596 596 596Segmentation 19 2309 2309 2309

29

Page 134: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Donnees utilisees pour les tests

Tests sur:1 Des donnees artificielles: type Toy2 Des donnees reelles du cite UCI

Tables

Table NAtt N NEntr NTestGermen 24 1000 500 500Diabetes 8 768 384 384Tow Spiras 2 3000 300 2700Tow Ellipses 2 3000 300 2700Cancer Analysis 32 596 596 596Segmentation 19 2309 2309 2309

29

Page 135: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Donnees utilisees pour les tests

Tests sur:1 Des donnees artificielles: type Toy2 Des donnees reelles du cite UCI

Tables

Table NAtt N NEntr NTestGermen 24 1000 500 500Diabetes 8 768 384 384Tow Spiras 2 3000 300 2700Tow Ellipses 2 3000 300 2700Cancer Analysis 32 596 596 596Segmentation 19 2309 2309 2309

29

Page 136: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Evaluation

Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances

Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &

Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]

30

Page 137: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Evaluation

Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances

Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &

Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]

30

Page 138: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Evaluation

Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances

Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &

Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]

30

Page 139: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Evaluation

Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances

Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &

Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]

30

Page 140: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Evaluation

Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances

Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &

Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]

30

Page 141: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Evaluation

Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances

Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &

Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]

30

Page 142: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Evaluation

Parametres d’evaluation1 Nombre d’exemples maintenus apres filtrage2 Temps d’apprentissage a bases des exemples maintenus3 Taux de reconnaissances

Comparer avec1 KBK-SR (Kernel Bisecting k-means Clustering) [Liu &

Feng, 2008]2 Methode de Lin [Lin &. Yeh, 2009]

30

Page 143: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Resultats

Resultats sur des toys

SVM seule apres Filtrage

N T(s) R(%) N T(s) R(%)1169 432.656 100 471 60.516 99,65

31

Page 144: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Resultats

Resultats sur des toys

SVM seule apres Filtrage et Revision

N T(s) R(%) N T(s) R(%)1169 432.656 100 679 93.268 100

31

Page 145: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Acceleration des SVMs par reduction d’exemples

Resultats

Resultats sur des BDDs du cite UCI

Base de test Methode N ρ T(s) R(%)German SVM 500 / 501.375 72.8

KBK-SR 156 / 60.42 70.83CB-SR 3 0.95 0.578 72.8

Tow Spirals SVM 300 / 10.687 100Lin 92 / / 99.95

CB-SR 37 0.86 0.875 100Tow Ellipses SVM 300 / 12.395 100

Lin 39 / / 100CB-SR 12 0.79 0.126 100

Segmentation SVM 2309 / 84.61 100CB-SR 32 / 0.937 100

31

Page 146: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse

OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...

Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...

32

Page 147: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse

OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...

Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...

32

Page 148: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse

OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...

Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...

32

Page 149: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse

OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...

Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...

32

Page 150: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse

OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...

Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...

32

Page 151: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse

OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...

Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...

32

Page 152: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse

OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...

Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...

32

Page 153: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse

OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...

Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...

32

Page 154: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Large utilisation de la variante multiclasseLa plupart des applications reelles utilisent la SVM multiclasse

OCR,Reconnaissance des caracteres manuscrits,Reconnaissance visages humains, ...

Lenteur des SVM multiclasse utilisees1vsR1vs1, DAGArbres de decisions, ...

32

Page 155: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Travaux anterieurs (HvsH: Han-sheng & al, 2005)

ABC vs DEF

A vs BC DE vs F

B vs C D vs E

F

C DB E

AA

AA A

A

A

A A A

BB

BB B

B

B

B B B

FF

FF F

F

F

F F F

DD

DD D

D

D

D D D

EE

EE E

E

E

E E E

CC

CC C

C

C

C C C

32

Page 156: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Travaux anterieurs (OC-SVM:Yang & al, 2007)

R3

R1

R2

C3

C1

C2

32

Page 157: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Travaux anterieurs (R-1vsR: Arun & al, 2010)

Reduced-1vsRPour chaque hyperplan: utiliser les exemples restants et lesvecteurs supports precedents

32

Page 158: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Contribution 2: OCBM

Travaux anterieurs (ODT-SVM: Agrawal & al, 2011)

Classe 1

Classe 2

Classe 3

Classe 4 1vs(2,3,4)

3vs4

2vs(3,4) classe1

Classe2

Classe3 Classe4

32

Page 159: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Principe

Utiliser le OC-SVM avec renforcement de la precisionPrendre un hyperplan mono classe pour chaque classeCalculer des decalages pour renforcer la precisionUtiliser le principe de maximum de profondeur

33

Page 160: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Principe

Utiliser le OC-SVM avec renforcement de la precisionPrendre un hyperplan mono classe pour chaque classeCalculer des decalages pour renforcer la precisionUtiliser le principe de maximum de profondeur

33

Page 161: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Principe

Utiliser le OC-SVM avec renforcement de la precisionPrendre un hyperplan mono classe pour chaque classeCalculer des decalages pour renforcer la precisionUtiliser le principe de maximum de profondeur

33

Page 162: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Principe

Utiliser le OC-SVM avec renforcement de la precisionPrendre un hyperplan mono classe pour chaque classeCalculer des decalages pour renforcer la precisionUtiliser le principe de maximum de profondeur

33

Page 163: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Principe

𝒙𝒙𝒌𝒌−

𝒙𝒙≠𝒌𝒌−

Hyperplan OC-SVM Hyperplan décalé

Classe K (cible)

Les autres classes ≠ K

𝑯𝑯𝒌𝒌

𝑯𝑯𝒅𝒅𝒌𝒌

𝑯𝑯(𝒙𝒙≠𝒌𝒌− ) 𝑯𝑯(𝒙𝒙𝒌𝒌−)

33

Page 164: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Principe

Classe 1 Classe 2

Classe 3

Classe 4

X2

Classe 1 Classe 2

Classe 3

X1

Classe 4

X1

X2

Classe 1 Classe 2

Classe 3

X1

Classe 4

OC-SVM Décalages

Maximum de profondeur

33

Page 165: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 166: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 167: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 168: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 169: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 170: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 171: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 172: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 173: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 174: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Evaluation

Parametres d’evaluation1 Temps d’apprentissage,2 Temps de classification,3 Taille du modele obtenu,4 Taux de reconnaissance

Comparer avec1 1vsR, 1vs1, DAG2 HvsH (Han-sheng & all, 2005)3 OC-SVM (Yang & all, 2007)4 R-1vsR (Arun & all, 2010)5 ODT-SVM (Agrawal & all, 2011)

34

Page 175: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Analyse de complexite

SoitK : nombre de classesNc : Nombre d’exemple par classeβ: constante relative aux conditions d’executionδ:nombre d’octets necessaires au stockage d’une valeurd’un attribut

Exemple d’applicationK = 10, Nc = 20, β = 1, δ = 1

35

Page 176: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Analyse de complexite

Temps d’entrainement

Methode # hyperplans Temps estime Exemple1vsR K K 3βN2

c 4000001vs1 K (K − 1)/2 2βK 2N2

c 80000ODT K − 1 K 3

3 βN2c 27000

HvsH 2log2K − 1 2βK 2N2c 80000

R-SVM K K 3

3 βN2c 27000

OC K KβN2c 4000

OCBM K KβN2c 4000

35

Page 177: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Analyse de complexite

Temps de classification

Methode # hyperplans Temps estime Exemple1vsR K K 2βNc 20001vs1 K (K − 1)/2 K (K − 1)βNc 1800DAG (K − 1) 2(K − 1)βNc 360ODT K − 1 (K (K+1)

2 − 1)βNc 1080HvsH log2K 2KβNc 400

R-1vsR K ODT 1080OC-SVM K KβNc 200OCBM K KβNc 200

35

Page 178: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Analyse de complexite

Taille du modele

Methode # hyperplans Taille estime Exemple1vsR K 2K 2δNc + K δ 40101vs1 K (K − 1)/2 K (K − 1)(2Nc + δ

2) 3600ODT K − 1 2(K (K+1)

2 − 1)δNc 1769HAH 2log2K − 1 2Klog2(K )δNc 1409R-1vsR K ODT-SVM 1769OC K K δ(Nc + 2) 220OCBM K K δ(Nc + 2) 220

35

Page 179: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Resultats sur des toys

1vs1 DAG

Te(s) Tt (s) R(%) T(KB) Te(s) Tt (s) R(%) T(KB)343.5 644.2 100 302.5 343.5 152.3 100 302.5

36

Page 180: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Resultats sur des toys

1vsR OCBM-SVM

Te(s) Tt (s) R(%) T(KB) Te(s) Tt (s) R(%) T(KB)546 454.3 100 209.5 0.656 132.5 100 60.2

36

Page 181: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Resultats sur des BDDS UCI

Base ODT HvsH R-1vsR OC OCBMIris 98 100 / 90.67 100Scc / 99.44 / / 93.88Glass 77.57 / / 71.03 99.53Wine 98.98 / / 54.49 100Yeast 68.65 / / / 99.93PenDigits / 98.37 98.82 / 98.01SatImage 93.98 / 91.9 / 94.2

37

Page 182: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Bilan

Avantages de la methode OCBM par rapport aux autresAccelere l’entrainement,Accelere la classification,Reduit la taille du modele,Tout en preservant la precision.

38

Page 183: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Bilan

Avantages de la methode OCBM par rapport aux autresAccelere l’entrainement,Accelere la classification,Reduit la taille du modele,Tout en preservant la precision.

38

Page 184: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Bilan

Avantages de la methode OCBM par rapport aux autresAccelere l’entrainement,Accelere la classification,Reduit la taille du modele,Tout en preservant la precision.

38

Page 185: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

SVM multiclasse acceleree a base de OC-SVM

Bilan

Avantages de la methode OCBM par rapport aux autresAccelere l’entrainement,Accelere la classification,Reduit la taille du modele,Tout en preservant la precision.

38

Page 186: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Applications

Applications

Calculatrice vocale

Speech audio

Traitement de signal et extraction des

coefficients

Classification des nouvelles entrées

Calculatrice

Création du profile du locuteur

Base de données des profiles

Vecteurs

Vecteurs

Mot (chiffre ou opération)

Apprentissage

Prononciation du résultat

Validation du résultat par l’utilisateur

39

Page 187: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Applications

Applications

Trieuse des dattes

Construction d’une base d’apprentissage

Apprentissage par SVM

Prétraitements

Extraction des caractéristiques

Vecteur de caractéristiques

Classes

Modèle de décision

Classification par SVM

Classe

Apprentissage Classification

39

Page 188: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Applications

Applications

Reconnaissance des caracteres manuscrits arabes

Prétraitement, segmentation et extraction de caractéristiques

Post-traitement

Image brute

Résultat final كتـاب

Interfaces Acquisition

Base de modèles

Classification Apprentissage SVM Vecteurs

té i ti

39

Page 189: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Outline

1 Problematique

2 Data mining

3 SVM

4 SVM & analyse des BDD

5 ContributionsAcceleration des SVMs par reduction d’exemplesSVM multiclasse acceleree a base de OC-SVMApplications

6 Conclusion

40

Page 190: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions

CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM

3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs

41

Page 191: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions

CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM

3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs

41

Page 192: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions

CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM

3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs

41

Page 193: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions

CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM

3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs

41

Page 194: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions

CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM

3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs

41

Page 195: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions

CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM

3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs

41

Page 196: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions

CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM

3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs

41

Page 197: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions

CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM

3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs

41

Page 198: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Bilan1 Etude de l’utilisabilite des SVMs pour l’analyse des BDD2 Contributions

CB-SR: technique d’acceleration des SVMs binaires parreduction d’exemplesOCBM: technique d’acceleration des SVMs multiclassespar OC-SVM

3 ApplicationsCalculatrice vocale a base des SVMsTrieuse des dattes a base des SVMsReconnaissance des caracteres manuscrits arabes parSVMs

41

Page 199: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Resultats4 publications internationales,10 communications nationales et internationales

41

Page 200: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Resultats4 publications internationales,10 communications nationales et internationales

41

Page 201: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Resultats4 publications internationales,10 communications nationales et internationales

41

Page 202: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC

41

Page 203: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC

41

Page 204: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC

41

Page 205: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC

41

Page 206: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC

41

Page 207: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos travaux futursUtiliser le principe CB-SR pour le multi et le mono classe etla regression,Etudier le calcul de ρ a partir des donnees,Etudier le parametre v pour la methode OCBM,Etudier le decalage,SVC

41

Page 208: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos projetsPNR (fraude bancaire, CRM, credit scoring, ...)CNEPRU (Segmentation d’images par SVC, ...)CMEP (Optimisation du positionnement des cameras)

41

Page 209: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos projetsPNR (fraude bancaire, CRM, credit scoring, ...)CNEPRU (Segmentation d’images par SVC, ...)CMEP (Optimisation du positionnement des cameras)

41

Page 210: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos projetsPNR (fraude bancaire, CRM, credit scoring, ...)CNEPRU (Segmentation d’images par SVC, ...)CMEP (Optimisation du positionnement des cameras)

41

Page 211: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Conclusion & perspectives

Nos projetsPNR (fraude bancaire, CRM, credit scoring, ...)CNEPRU (Segmentation d’images par SVC, ...)CMEP (Optimisation du positionnement des cameras)

41

Page 212: Utilisation des méthodes Support Vector Machine (SVM) dans

logo

Problematique Data mining SVM SVM & analyse des BDD Contributions Conclusion

Fin de l’expose

Merci pour votre attention ...

42