Présentation de mes Activités de Recherche pour un Poste ... · Présentation de mes Activités de Recherche pour un Poste de Professeur en Apprentissage Machine à l’Université

Présentation de mes Activités de Recherche pour un Poste de Professeur en Apprentissage

Machine à l’Université Laval 2018-2019

08/01/2019

Réalisée par:

RIADH KSANTINI

Professeur en Informatique

Titres Universitaires

Domaines D’expertise

Activités Professionnelles

Activités d’Encadrement

Activités de Recherche

Perspectives

Plan de la Présentation

208/01/2019






Perspectives


308/01/2019


• Habilitation à Diriger des Recherches (HDR); Ecole Supérieure de Communication de Tunis (SUP’COM), Université de Carthage.

• Doctorat en Informatique; Spécialité: Imagerie et Média Numérique, Centre de Recherche MOIVRE, Université de Sherbrooke, Sherbrooke, Canada.

• Maîtrise en Informatique; Spécialité: Imagerie et Média Numérique, Centre de Recherche MOIVRE, Université de Sherbrooke, Sherbrooke, Canada.

• Baccalauréat en Mathématiques Appliquées et Informatique, Université de Monastir, Monastir, Tunisie.

408/01/2019

2003 - 2007

2001 - 2003

1996 - 2000

2018




Activités Pédagogiques


Perspectives


508/01/2019

Domaines d’Expertise

• Apprentissage Machine/Profond.

• Données Massives (Big Data)

• Intelligence Artificielle.

• Vision Artificielle (par ordinateur) et Médias Numériques.

• Traitement de Signal.

• Reconnaissance des Formes.

• Traitement d’Image et Vidéo.

• Systèmes de Détection d’Intrusions.608/01/2019






Perspectives


708/01/2019

Activités Professionnelles (1/2)

• Professeur :Ecole Supérieure des Communications de Tunis, Tunisie.

• Directeur du Département Informatique et Réseaux:Ecole Supérieure des Communications de Tunis, Tunisie.

• Professeur Associé : Institut d’Informatique, Université de Windsor, Canada.

• Chercheur Postdoctoral et Coordinateur: La compagnie Cie Genetec Inc. Et l’École de Technologie Supérieure (ÉTS), Montréal, Canada.

808/01/2019

Depuis 2013

2011 - 2013

Depuis 2014

Depuis 2018

Activités Professionnelles (2/2)

• Chercheur Scientifique Visiteur:l’Agence Spatiale Canadienne. St- Hubert, Canada.

• Chercheur Postdoctoral et Coordinateur: Institut d’Informatique,

Université de Windsor, Windsor, Canada.

• Attaché de Recherche: Les Laboratoires Bell Canada, Canada.

908/01/2019

2007 - 2010

2001 - 2007

2010 - 2011






Perspectives


1008/01/2019

11

Activités d’Encadrement (1/4)

25 PFE Cycle d’Ingénieur et 05 PFE Maîtrise Professionnelle

Thèmes proposés:

1. Reconnaissance des Activités Humaines.

2. Prédiction de Retard des Vols (Apprentissage Profond).

3. Qualité de Service et d’Expérience (Apprentissage Machine).

4. Détection des Lésions de la Peau (Cancer de la Peau).

08/01/2019

08/01/2019 12

04 Étudiants en Maîtrise de Recherche.

1. Contour Actif et Polarité

2. Détection d’Objets (Apprentissage Profond)

3. Apprentissage Profond Non Supervisé

4. Qualité de Service et d’Expérience (Apprentissage Machine)

UW

ENIT

ENIT

TBS


08/01/2019 13

07 Étudiants en Doctorat (Thèses Soutenues).

1. Combinaison des Classifieurs et Reconnaissance des Visages

2. Reconnaissance des Activités Humaines

3. Reconnaissance des Formes et Segmentation d’Images

4. Détection des Mines basée sur l’Apprentissage/ProfondMachine

5. Reconnaissance des Visages basée sur l’Apprentissage/ProfondMachine

6. Modèles Discriminants et Reconnaissance des Visages

7. Apprentissage Incrémental et Détection des Visages

RU 2010-2014

UW 2008-2013

UW 2011-2015

ENIT 2014-2018


ENIT 2015-2018

ENIT 2014-2018

SUPCOM 2015-2018

08/01/2019 14

ISTMT 2018-Maint

ISTMT 2018-Maint

06 Étudiants en Doctorat (Thèses en Cours).

1. Classification «One-Class» et Reconnaissance des Documents

2. Détection d’Intrusions (Apprentissage Profond Supervisé)

3. Détection d’Intrusions (Apprentissage Profond Non Supervisé)

4. Reconnaissance des Gestes

5. Reconnaissance des Activités des Personnes Âgées

6. Reconnaissance des Tumeurs

SUPCOM 2014-Maint

SUPCOM 2018-Maint

SUPCOM 2018-Maint

SUPCOM 2015-Maint







Perspectives


1508/01/2019


Sous-domaines et Orientations de Recherche:

A. Recherche d’Image par le Contenu et Reconnaissance des Visages.

B. Classification Linéaire et Non-Linéaire (Noyau ou Kernel).

C. Rendu de Volumes et Visualisation des Données.

D. Apprentissage Profond Supervisé et Non Supervisé.

1608/01/2019

A. Recherche d’Image par le Contenu et

Reconnaissance des Visages (1/10)

Période: 2001-2010(Travaux de Maîtrise, Doctorat et Postdoc UW)

1) Motivation:La croissance énorme de l’information disponible non-structurée dans les bases d’images. (Télédétection, Médical, Sécurité,… etc …)

La recherche de l’information dans les grandes bases d’images est un problème crucial

1708/01/2019



Travaux Existants:1. A. Smeulder et al. IEEE TPAMI. 2000.2. N. Vasconcelos. IEEE Trans. Inf. Th. 2004.3. J. Goldberger et al. Adv. in Neu. Inf. Proc. Sys. 2005.

Utilisation des Métriques de Similarité et des Descripteurs Pour Recherche d’Image.

Inconvénients: Métriques de Similarité = Distances entre Caractéristiques. Attribuer les mêmes poids à toutes les Caractéristiques. Pas de Méthodes Statistiques Pour Améliorer la Recherche.

1808/01/2019

08/01/2019 19

Contributions:

Proposer une nouvelle métrique basée sur les ondelettes.

Utiliser les ondelettes de Daubechies pour lisser les descripteurs.

Proposer un nouveau descripteur, qui est l’histogramme pondéré par leGradient multispectral.

Proposer un nouveau modèle bayésien de régression logistique: Trèsstable, robuste au bruit. Basé sur le noyau (Kernel).

Améliorer significativement la performance du système de recherched’images couleurs



08/01/2019 20

Prétraitement Recherche du Descripteur Q de l’Image Requête

Descripteur d’une

Organigramme de la Recherche



Daubechies

20

21

2) La pseudométrique:

4) Fonction Objective du Modèle Bayésien:

3) L’histogramme pondéré par le Gradient multispectral.

08/01/2019



Comparaison avec l’Etat de l’Art des Bases de Donnéesd’Images (Erreur de Recherche).

2208/01/2019



2004 2003 2003

2007

08/01/2019 23

La reconnaissance des visages d’êtres humains est cruciale pour plusieurs applications:

Vidéo-surveillances, biométrie, robotique… etc….

1. P.N. Belhumeur et al. IEEE TPAMI. 1997.2. H. Yu et J. Yang. Pattern Recognition. 2001 3. M. Zhu et A.M. Martinez. IEEE TPAMI. 2006.

Utilisent les Méthodes de Réduction de dimension y compris l’Analyse Discriminante pour la Reconnaissance des Visages.

5) Motivation:

Travaux Existants:



08/01/2019 24

Basées sur des Méthodes non Robustes aux Données Multimodèles (variabilité des visages).

Prétraitement: Utilisation de l’ACP pour la Réduction de laDimension.

Inconvénients:



Contributions:

Améliorer le Modèle Bayésien Proposé:

Nouvelle Distribution A Priori pour la Réduction de laDimension.

Sous Classes-Robuste aux Données Multimodèles (Visages).

Comparaison avec l’Etat de l’Art des Bases de Donnéesde Visages (Précision de Reconnaissance).

2508/01/2019



26

Publications:

5 Papiers Journaux. (PR (IF = 4.6), TPAMI (IF = 9.5), IJWMIP…)

6 Papiers Conférences. (AAAI (class A*), IJCAI (class A*), ICIAR…)

08/01/2019



Période: 2007-2018(Travaux de Postdoc, Professeur Associé à UW et

Professeur à SUP’COM)

1) Motivations:

La Classification est un outil très pertinent pour Répartir les Données en Classes ou Catégories.Applications: Médical, Sécurité, Multimédia, etc…

2708/01/2019

B. Classification Linéaire et Non-Linéaire (Noyau)

(1/21)

Travaux Existants:

1. M. Bressan et J. Vitria. Pattern Recognition. 2003.2. M. Cristianini et J. Shawe-Taylor. Cambridge University Press. 2000.

Ont Proposé deux classifieurs bien connus de l’état de l’art:

«Nonparametric Discriminant Analysis» (ND)

«Kernel Support Vector Machines» (KSVM).

2808/01/2019


(2/21)

08/01/2019 29

Pour le KSVM, la classification est basée juste sur les vecteurs de supportqui sont sur les frontières de décision.

Perte de l’information globale sur les données.

Pour le KND, la classification est très sensible au choix des k plusproches voisins de la frontière de décision.


(3/21)

Inconvénients:

08/01/2019 30

Contributions:

Combiner le KSVM et le Kernel ND (KND) d’une façonrigoureuse, afin d’éviter leurs inconvénients et améliorer laperformance de classification

KN-SVM.


(4/21)

• Incorporer les KND scatter matrices dans le problème d’optimisation de KSVM.

• Matrice “Between-class Scatter” .

• Matrice “Within-class Scatter” .

31

N

i

i

T

i

T wwxtCww1

0)))((1,0max(2

1 min KSVM

08/01/2019


(5/21)

32

N

i

i

T

i

TT wwxtCwwwIw1

0

1 )))((1,0max(2

1))((

2

1 min

N

i

i

T

i

T wwxtCww1

0)))((1,0max(2

1 min

KSVM

KN-SVM08/01/2019


(6/21)

33

N

i

i

T

i

TT wwxtCwwwIw1

0

1 )))((1,0max(2

1))((

2

1 min

N

i

i

T

i

T wwxtCww1

0)))((1,0max(2

1 min

KSVM

KN-SVM08/01/2019


(6/21)

34

N

i

i

T

i

TT wwxtCwwwIw1

0

1 )))((1,0max(2

1))((

2

1 min

II

wwxtCwwN

i

i

T

i

T

1

1

0

)(

)))((1,0max(2

1 min

Paramètre de Contrôle

08/01/2019


(7/21)

35Interpretation Géométrique de KN-SVM08/01/2019

Espace de Noyau (Kernel)


(8/21)

Résultats Expérimentaux3608/01/2019


(9/21)

08/01/2019 37

Application du KN-SVM (Détection d’Objets Occlutés):


(10/21)

08/01/2019

Problème de données non-balancées ou les anomalies sont rares dans plusieurs applications:

• Centres nucléaires• Détection de Cancer• Détection des mines

Travaux Existants:

2) Motivations:


(11/21)

1. D. Tax et K. -R. Müller, Artif., IEEE Neu. Net. And Neural Inf. Pro. 20032. D. Tax et R. Duin, Machine Learning. 2004.

Ont Proposé Plusieurs Classifieurs «One-Class » OSVM.Exemple

08/01/2019

Aucune Méthode «One-Class» considère les faibles variances.

Contributions:

Inconvénients

Proposition d’un classifieur «One-Class» qui classifie les données et les projette dans la direction des faibles variances.


(12/21)

08/01/2019 4040

OSVM

COSVM

Le Classifieur COSVM


(13/22)

08/01/2019 4141

OSVM

COSVM


Matrice de Covariance


(13/21)

08/01/2019 4242

OSVM

COSVM


Paramètre de Contrôle


(13/21)

43

Matrice de Noyau(Kernel)

Matrice de Covariance

08/01/2019


(14/21)

44Interpretation Géométrique de COSVM

08/01/2019


(15/21)



(16/22)

08/01/2019 46

Classifieur One-Class basé sur un apprentissage « batch » pas flexible avec les environnements dynamiques.

3) Problématiques:

Contributions:

Proposition d’un classifieur «One-Class» qui classifie les données et les projette dans la direction des faible variances.

COSVM Incrémental (iCOSVM)


(17/21)

K et Δ sont définies positives.

Problème d’optimisation convexe.

Existence d’une solution, unique déterminée avec

la méthode de KKT.

S: SV

marginaux

O: non-SV

E: SV erreur08/01/2019

Processus Incrémental

iCOSVM

47


(18/21)

08/01/2019 48

100 250 500 1000 2000

iCOSVM 0.00425 0.0043 0.00437 0.00442 0.00451

COSVM 0.0527 0.1336 0.3347 1.5095 8.0075

0.001

0.01

0.1

1

10

Lo

g o

f tr

ain

ing

tim

e

Comparaison (Temps d’Apprentissage): COSVM et iCOSVM


(19/21)

08/01/2019 49

Experiments iSVDD iOSVM iCOSVM

Biomedical 28.4 77.7 82.9

heart disease 49.4 60.9 61.9

Liver (diseased) 54.8 69.1 69.6

Liver (healthy) 52.5 67.3 68.7

Diabetes (present) 95.2 97.5 97.8

Diabetes (normal) 92.2 97.3 97.5

arrhythmia-1 74.8 83.2 83.7

arrhythmia-2 74.0 81.0 82.8

Chromosome-1 48.0 65.2 78.2

Chromosome-2 48.2 63.2 73.4

Chromosome-3 47.4 46.6 55.5

Chromosome-4 47.9 58.6 70.8

Résultats Expérimentaux


(20/21)

50

Publications:

10 Papiers Journaux. (3*PR (IF = 4.6), IJMLC (IF = 2.6), SIVP (IF = 1.7)…)

14 Papiers Conférences. (ECML/PKDD (class A), ICASSP (class B), ICIAR…)

08/01/2019


(21/21)

08/01/2019 51

La visualisation est Utile dans Plusieurs Applications:

• Médical• Géologie• Fluides • Défense

1) Motivations:

Période: 2014-2018 (Professeur Associé à UW et Professeur à SUP’COM)

C. Rendu de Volumes et Visualisation des Données

(1/15)

08/01/2019 52

1. N.M. Khan, et al. Neurocomputing. 2015.2. Hadwiger, et al. IEEE Trans. on Visual. Comp. Graph. 2008.

Sont Basées sur la Fonction de Transfer et la Manipulation de Pixels 3D (Classification Non Supervisée)

Travaux Existants:


(2/15)

08/01/2019 53

Inconvénients:


(3/15)

Les méthodes classiques de visualisation ne sont pas pratiqueset lentes en terme d’interaction.(Utilisateur-Machine ou Expert-Machine).

08/01/2019 54

Système de Visualisation Classique


(4/15)

08/01/2019 55

Proposition d’une méthode de visualisation basée sur l’image:

Rapide et facile a interagir avec l’utilisateur ou l’expert.

Calcul Automatique de l’Opacité des Différentes Régions.

Contributions:


(5/15)

08/01/2019 56

Système proposé et Basé sur l’Image


(6/15)

57

Données(Volume)

IU

VoxelsSélectionnés

ExtractionDes

Caractéristiques

ClassifieurKN-SVM

Distribution de la Couleur

&Opacité

Output

Extractiondes Régions(Entropie)

Méthode Basée sur l’Image08/01/2019


(7/15)

• Valeur d’Intensité.

• Amplitude du Gradient.

• Moyenne des 8 Voxels Voisins dans les Directions de X, Y and Z.

5808/01/2019

Extraction des Caractéristiques:


(8/15)

Résultat Expérimental59

Avant

Classification

Après

Classification

08/01/2019


(9/15)

Données (Avant)60

(a) Foot(b) Engine (c) Lobster

(d) Carp (e) Visual Male head

08/01/2019


(10/15)

Résultats (Méthode Basée sur l’Image) 61

(a) Foot(b) Engine (c) Lobster

(d) Carp (e) Visual Male head

08/01/2019


(11/15)

Comparaison: Méthode Basée sur l’Image, Méthode Basée sur les Données et Méthode Traditionnelle

Method TrainingTime

InteractionTime

InteractionRating

Output Rating

Traditional 243.9 323.8 3.35 2.95

Data-Centric

121.2 158 4.4 4.4

Image-Centric

36 24.7 3.8 3.3

6208/01/2019


(12/15)

Method TrainingTime

InteractionTime

InteractionRating

Output Rating

Traditional 243.9 323.8 3.35 2.95

Data-Centric

121.2 158 4.4 4.4

Image-Centric

36 24.7 3.8 3.3

63

Très Rapide.Interaction Minimale

08/01/2019



(13/15)

Method TrainingTime

InteractionTime

InteractionRating

Output Rating

Traditional 243.9 323.8 3.35 2.95

Data-Centric

121.2 158 4.4 4.4

Image-Centric

36 24.7 3.8 3.3

64

Meilleure qualitépour la méthode

Basée sur les données

08/01/2019



(14/15)

65

Publications:

01 Papier Journal. (ACM Transaction (IF = 3.6))

01 Papier Conférence.(ICASSP (class B))

08/01/2019


(15/15)

66

Période: 2016-Maintenant(Professeur Associé à UW et Professeur à SUP’COM)

1) Motivations:

L’apprentissage profond non supervisé est un outil très pertinent pour répartir des données non étiquetées en structures sous-jacentes (clusters),

Applications: Médical, Sécurité, Multimédia, etc…

08/01/2019

D. Apprentissage Profond Supervisé et Non Supervisé

(1/15)

Pourquoi l’apprentissage non supervisé des contenusdes images est une tâche délicate ?

L’information au niveau pixel n’est pas fiable pour effectuer le «Clustering»

Calculer les similarités en se basant sur la notion de distance ne peut pas effectuer une catégorisationsémantique.

6708/01/2019


(2/15)

Exemple Pertinent:

6808/01/2019


(3/15)

● Deux images ayant presque les mêmes intensités de pixels appartiennentdans des différents «clusters»:

● Deux images ayant des différentes intensités de pixels appartiennent au même «cluster»:

Travaux Existants (Deep Embedding Clustering):

1. Chunfeng Song et al. CIARP. 2013.2. Elie Aljalbout et al. ICLR. 2018.

Méthodes basées sur deux phases:

Phase1: Un Autoencoder est pré-entraîné pour effectuer

reconstruction des données (Vanilla).

Phase2: Encoder est entraîné pour améliorer l’intégration de lareprésentation et le positionnement des centres des «Clusters».

6908/01/2019


(4/15)

08/01/2019 70

Les Méthodes (DEC) ne sont pas robustes aux données non balancées.

Ne maintiennent pas la topologie des données (phase de reconstructionéliminée «Reconstruction loss function»).

Améliorent la précision du «Clustering» sous conditions: a) initialementfaire un bon choix des centres des «Clusters», b) Avoir déjà unbottleneck avec représentation discriminative.

Préapprentissage obligatoire.

Résultats insatisfaisants sur des données fortement sémantiques.


(5/15)

Inconvénients:

08/01/2019 71


(6/15)

Contributions:

Réseau Génératif

Réseau Discriminatif Magnet Loss Function



(7/15)

Method ACC NMI

DEC 86.55% 83.72%

IDEC 88.06% 86.72%

DNC 83% 81%

DMC * 86.4%

VaDE 94.46% *

DEPICT 96.5% 91.7%

DAE (our) 98.3% 95.5%

Evaluation sur MNIST dataset:

08/01/2019 73


(8/15)

Autres Contributions au Niveau Autoencoder (One-Class) :

One class-SVM

𝐽(𝑊, 𝑏)

=1

𝑚(𝑥 𝑖 − ℎ(𝑊. 𝑔 𝑊𝑇 . 𝑥 𝑖 )2+𝑊𝑇. 𝐶𝑂𝑉 𝑋 .𝑊

𝑛

𝑖=1

Autoencoder

Bottleneck

Low Variance Direction



(9/15)

Autoencoder Classique Covariance Guide Autoencoder

Evaluation sur KddCup dataset de DARPA (Détection d’Intrusion), MNIST dataset

75

2) Motivations:

Les méthodes de suivi des objets en mouvement basées sur l’apprentissage profond (DeepTracking) sont efficaces et pertinentes pour plusieurs applications:

Vidéo Surveillance, Médical, Défence, Sécurité, Multimédia, etc…

08/01/2019


(10/15)

76

Travaux Existants:

Classification des AS profond (Li et al. 2017):

• Structure de réseau : CNN, RNN, Autoencoder, Siames

(ECO,CCOT,DeepSRDCF,CNN-SVM,siamFC,SANet)

• Fonction de réseau : FEN, EEN(RPNT,RTT,DLT,TransDLT)

• Entrainement de réseau : NP, IP, VP (OL/NOL)

08/01/2019


(11/15)

77

Contributions:

Stratégie de recherche grossière-à-fine

• Augmenter la zone de recherche• Estimation de la translation

Caractéristiques extraites à partir de CNN

• Classification et détection des objets• Invariance : rotation, échelle et translation

Les filtres de corrélation pour le suivi

• Rapidité de calcul• Précision de localisation

08/01/2019


(12/15)

78

Contributions:

Apprentissage en Ligne:

• Augmente la robustesse de l’algorithme.

• Apprendre la nouvelle apparence de l’objet au cour de suivi.

• Le contrôle de sur-apprentissage en introduisant un seuil d’apprentissage.

• L’évaluation de la qualité de prédiction pour le contrôle de l’apprentissage en ligne par l’intermédiaire du iCOSVM.

08/01/2019


(13/15)

7908/01/2019


(14/15)

Fonctionnement de l’algorithme proposée



(15/15)

81

Bilan Total de mes Activités de Recherches:

19 Papiers Journaux (IF = 0 – 1.5 – 2.6 – 3.6 – 4.6 – 9.5).

Exemple: 4 × PR + 1 × TPAMI + 1 × ACM Transactions…

35 Papiers Conférences (Class C - B - A - A*).

08/01/2019






Perspectives


8208/01/2019

Visualisation des Données Basée sur l’Apprentissage Actif.

Proposition d’un Nouveau Modèle Incrémental (iKN-SVM,

Paramètre de Contrôle-Analytique).

Utiliser les Nouveaux Modèles dans Plusieurs Autres Applications:

Détection des Mines/Visages/Intrusions/Tumeurs(Médical).

Proposer des Nouveaux Modèles d’Apprentissage Profond.

Apprentissage Profond pour Détection d’Intrusions et

Modélisation de la Qualité de Service et d’Expérience.

Perspectives: Activités de

Recherche

8308/01/2019

08/01/2019 84