Presentation Habilitation à Diriger des Recherches

Partie Curriculum VitaePartie Recherche (Contributions Scientifiques)

Conclusions/Perspectives

De l’importance des méthodes de suppressionde fond pour la détection d’objets mobiles

État de l’Art, Nouvelles Approches et Perspectives

Thierry BOUWMANS

Laboratoire MIA - Département d’InformatiqueUniversité de La Rochelle

14 Novembre 2014

Thierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 1 / 77



Plan de la Présentation

1 Partie Curriculum VitaeParcours universitaire/professionel.Activités d’enseignements.Activités de recherche.

2 Partie Recherche (Contributions Scientifiques)Problèmatique des méthodes de soustraction de fond.Approches fondées sur les concepts flous.Réduction de dimension discriminative et mixte.Décomposition en matrices de rang faible etparcimonieuse.

3 Conclusions/Perspectives




Parcours universitaire/professionel.Activités d’enseignements.Activités de recherche.









Parcours Universitaire

1 Formation Doctorale1997 : Doctorat de l’Université du Littoral Côte d’Opale(ULCO-Calais), mention très honorable.Apport de la logique floue dans un système d’analyse descène en 3D par multivision.

2 Parcours Professionnel1997-1999 : Contrat PRAG - Recherche post-doctorale(Univ. du Littoral Côte d’Opale, Calais)Fusion floue de données (intégrales floues) pour lamultivision.2000-2001 : ATER Section 61 (1 an)(Dept. Informatique, L3i, Univ. de La Rochelle)01/02/2001-en cours : MCF (Section 61)(Dept. Informatique, L3i puis MIA, Univ. de La Rochelle)













Activités d’enseignementsDisciplines Enseignées en Licence et/ou Master

1 Informatique d’usage et méthodologie universitaire.(Resp. en Licence 1 Sciences) - UE Transversales

2 Traitement, analyse et synthèse d’images.(Resp. en Licence 3) - Sections 27 et 61

3 Informatique et programmation .(Base de données, génie logiciel, C, C++) - Section 27

33%21%

Répartition des enseignements

Informatique d'usage et

Méthodologie Universitaire

Traitement et synthèse des

46%

Traitement et synthèse des

images

Informatique et

programmation





Activités d’enseignementsResponsabilités Administratives et Pédagogiques (Partie 1)

Formation Informatique

DIRECTEUR DES ÉTUDESLicence IUP Génie Informatique 2iéme année (2002-2003,1 an)RESPONSABLE PÉDAGOGIQUE PAR INTÉRIMLicence Informatique (01/01/2013-30/06/2013, 6 mois)

Formation Jeux Vidéo et Média Interactifs (co-habilitation)

DIRECTEUR DES ÉTUDESDESS Jeux Vidéo et Média Interactifs - Univ. La Rochelle(2001-2004, 3 ans)RESPONSABLE ADMINISTRATIF ET PÉDAGOGIQUE de lacoloration "Image".MASTER JVMI (2004-2008, 4 ans)





Activités d’enseignementsResponsabilités Administratives et Pédagogiques (Partie 2)

Formations hors discipline (domaine "Lettres Modernes")

RESPONSABLE PÉDAGOGIQUE DES ENSEIGNEMENTSD’INFORMATIQUEDEUG Lettres Modernes (2001-2004, 3 ans)2 UEs (Informatique d’usage niveau 1 et niveau 2)RESPONSABLE PÉDAGOGIQUE DES ENSEIGNEMENTSD’INFORMATIQUELicence Professionnelle Lettres, Cultures et NouveauxMédia (2002- en cours, 12 ans)4 UEs (Environnement informatique, création etorganisation de site web, etc...)













Activités de rechercheDomaine de Recherche Scientifique

Détection d’objets mobiles par des méthodes desuppression de fond dans des séquences vidéos acquisesdans des environnements complexes.Contributions scientifiques (seconde partie) :

1 États de l’art complets dans le domaine de la soustractionde fond.

2 Approche fondée sur les concepts flous. (Fida El Baf)3 Approche fondée sur la réduction de dimension

discriminative et mixte. (Diana Farcas et Cristina Marghes)4 Approche fondée sur la décomposition de rang faible et

parcimonieuse. (Charles Guyon)





Activités de rechercheProjets de Recherche (1) - Pourquoi je me suis intéressé aux méthodes de suppressionde fond ?

Projet Aqu@thèque (2000-2003) : Détection des poissons pourla reconnaissance de l’espèce sélectionnée par l’utilisateur.

Détection de poissons (Aquarium La Rochelle).





Activités de rechercheProjets de Recherche (1) - Pourquoi je me suis intéressé aux méthodes de suppressionde fond ?

Challenges : Formes et couleurs très variées, variationslumineuses locales et globales, lentes et rapides, mouvementdes algues...

SG, MOG et KDE pas assez performants [SIGMAP 2007].

Nécessité de méthodes plus robustes aux variations lumineuseset aux fond dynamiques (seconde partie).





Activités de rechercheProjets de Recherche (2)

Projet Voile (Société JPS et BSG DEVELOPPEMENTS, LaRochelle, 2000-2005).

Optimisation des réglages de la forme de la voile(Entrainement). Base de données de réglages (Course).Comparaison entre entrainement et course.Détection de lignes (bandes) ajoutées dans la voile.

Variations lumineuses très fortes (voile = surface réfléchissante).3 Contrats (2 DEA, 1 Doctorat). Pas de publications possiblescar projet confidentiel !

Détection de la forme de la voile.Thierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 13 / 77





Projet Mertail (Verena Trenkel, IFREMER, Nantes, 2004-2007).Recensement des espèces halieutiques comme leslangoustines.Environnement marin avec peu ou beaucoup de luminositéet déviation colorimétrique (couleur verte).

Publication : 1 Conférence.

Détection de langoustines.






Projet "Analyse des jets d’air turbulents" (Amina Meslem,LEPTIAB, La Rochelle, 2007-2009).

Détermination de la forme optimale de la buse pouroptimiser le flux d’air dans les ventilations.Caractéristiques de formes (Calcul de surface, etc...).

Contrat BQR (Bonus Qualité Recherche).Publications : 1 Journal, 1 Conférence, 1 Présentation GDR.

Analyse des jets d’air turbulents par traitement d’images.






Projet "Restauration de la continuité écologique" (Laurent David,LEA, Poitiers, 2007-2009).

Etude des comportements des poissons dans les passes.Optimisation des passes pour des ouvrages de montaisonsur les rivières.Détection des poissons par suppression de fond. Poissonspeu visibles. Trajectoires.

Détection de poissons dans des passes (Bassin d’expérimentation).





Activités de rechercheEncadrement Scientifique

Thèses (4) : Fida El Baf (2005-2009), Charles Guyon(2010-2014), Andrews Sobral (2013- en cours) et CarolinePacheco (2013- en cours).Stage niveau M2 (12) : 6 stages "recherche" et 7 miniprojets de M2 Recherche/DEA.Stage ERASMUS (11) : Licence/Master/Doctorat(Roumanie, République Tchèque) dont Diana Farcas etCristina Marghes.Stage d’étudiants étrangers hors Europe (5) : 2 (IslamicAzad University, Iran), 1 (Univ. Timisoara, Roumanie),Zhenjie Zhao (Nankai University, Chine), Sajid Javed(Kyungpook National University, Corée du sud).





Activités de rechercheRayonnement Scientifique - (1) Aspect démarche structurante et fédératrice dans ledomaine.

1 conférence invitée (BMC Workshop à ACCV 2012,Corée).2 activités éditoriales (lead guest editor) :

1 1 numéro spécial dans MVA (12 papiers) - Juillet 2014.Faire émerger des approches nouvelles dans le domaine.

2 1 livre (handbook) avec CRC Press (25 Chapitres) -Juillet 2014.Regroupement des travaux des équipes leaders sur ladernière décennie. Accompagné d’un site web avecressources mises à jour.

1 comité de programme (workshop international) :ARTEMIS 2010 (sous la demande de Jordi Gonzàlez,CVC, Espagne).





Activités de rechercheRayonnement Scientifique - (2) Aspect service à la communauté scientifique.

Relecteur pour des revues internationales :IEEE (PAMI, TIP, etc...), SPRINGER (IJCV, MVA, SVIP,etc...), ELSEVIER (CVIU, IVC, etc...) et IET-CV.11 (2011), 15 (2012), 36 (2013), 55 (au 01/09/2014)Relecteur pour des conférences internationales :AVSS (3) , ICPR (3), ICIAP (3), ICIP (15) en 2014.Area Chair (méta-relecteur) : IEEE WACV 2015 (sous lademande de Fatih Porikli, NICTA, Australie).Participation à des jurys de thèse :

1 En France (3) : Univ. La Rochelle.2 Hors France : Univ. Autonoma de Barcelona (Espagne) et

Univ. of Utago (Nouvelle-Zélande).





Activités de rechercheRayonnement Scientifique - (3) Aspect recherche collaborative et capitalisation desconnaissances.

Site web professionel : Toutes mes activités et mespublications. (https ://sites.google.com/site/thierrybouwmans/)4 258 visites et 2 584 visiteurs différents (Source GoogleAnalytics au 01/09/2014).

Background Subtraction Website 1 : Environ 1500publications recensées et classées + 20 datasets + 70 codes.29 870 visites et 15 854 visiteurs différents (Source GoogleAnalytics au 01/09/2014).

BGSLibrary en C et OpenCV : 35 algorithmes de backgroundsubtraction (A. Sobral, 2012).

LRSLibrary en Matlab : 70 algorithmes RPCA et tenseurs (A.Sobral, 2014).

1. https://sites.google.com/site/backgroundsubtraction/Thierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 20 / 77

http://sites.google.com/site/backgroundsubtraction/




Activités de recherchePublications/ Diffusion des travaux

Disponibles sur HAL et sur les réseaux sociaux "Recherche"Academia, Research Gate, Science Stage et Publication List.

Catégorie Nombre

Editorial 2

Chapitre de livre 6

Journaux internationaux 7

Conférences internationales 26

Total 41

Publications par type.

All Since 2009

Citations 625 590

h-index 11 10

i10-index 12 11

Indices bibliométriques.(Source Google Scholar au

01/09/2014.)

6 sites web accompagnant chacune des approchesdéveloppées avec les codes correspondants.




Problèmatique des méthodes de soustraction de fond.Approches fondées sur les concepts flous.Réduction de dimension discriminative et mixte.Décomposition en matrices de rang faible et parcimonieuse.









De l’intérêt des méthodes de soustraction de fond

Détection d’objets mobiles dans des vidéos acquises par descaméras fixes.

1 Multitudes d’applications : Vidéo surveillance intelligente(activités humaines, animales, protection d’environnementnaturel), capture de mouvement optique, interactionHomme-Machine, codage et transmission vidéo, etc..

2 Première étape avant suivi, reconnaissance oureconstruction 3D de l’objet mobile.

3 Objets divers de formes, de couleurs et de textures trèsvariées.

4 Scènes diverses d’intérieurs ou d’extérieurs avec unegrande diversité d’environnements et de conditionsd’éclairage.

Multitude de challenges et de méthodes dans la littérature (plusde 1500 papiers recensés).





ChallengesProblématiques applicatives (1) - Caractéristiques et contraintes visuelles.

Bruit, ajustement des paramètres de la caméra, vibration de lacaméra, variations lumineuses, fond peu visible ou pas, camouflageen couleur, trous dans l’objet mobile, objet du fond déplacé ou inséré,fonds dynamiques, reprise ou arrêt d’un objet mobile, taille desobjets mobiles et ombres.

Fausses détections (fonds dynamiques).





Processus Commun.Problématiques applicatives (2) - Caractéristiques et contraintes algorithmiques.

Processus reconstructif

Algorithme incrémental (online)

Vidéo

Mise à jour du fond

Classification fond/objets

mobiles

Initialisationdu fond

Bt(x, y)

Masque de détection

t ≤ N

t > N

t ≥ N t=t+1

N images

It+1(x,y)N+1

Processusd’apprentissage/

reconstructionAlgorithme hors ligne

(offline)

Processus discriminatifAlgorithme de classification

détectionN+1

Autres points clés :

Caractéristiques (descripteurs) : Couleur, texture,....

Stratégies : Multi-caractéristiques, multi-échelles, ....

Contraintes de temps-réel et d’encombrement mémoire limité.Thierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 25 / 77




Historique.Evolution du domaine.

1990-1999 : Différence consécutive entre deux voire troisimages, ou modélisation du fond par moyenne, médiane ethistogramme temporel . Capacité de calcul limitée desordinateurs.2000-2005 : Modélisations plus élaborées avec lesmodèles statistiques comme les MOG (255), KDE (90) etPCA (30).Puis apparition des modèles flous [Zhang et Xu (2006)][ElBaf et al. (2008)] (51), des modèles par ACP robustes[Candès et al. (2009)] (190), et des modèles à bases detenseurs [Wu et al. (2011)] (10).





Contexte.Constat et analyse du domaine en 2005.

1 Manque d’un cadre commun : Développées dans descontextes différents, les méthodes n’étaient passystématiquement explicitées et abordées de façonoptimale avec le même formalisme.

2 Manque de progrès scientifique : Recherchesseulement sur les modèles (MOG, KDE et PCA), et lesautres modèles étaient souvent peu ou pas examinés.

3 Manque d’une base de données communesuffisamment large pour couvrir tous les challengespossibles et possédant la vérité-terrain pour toutes lesimages de chaque séquence. Depuis 2012,ChangeDetection.net (2012 et 2014) et BMC 2012 (BMC2014).





États de l’art.Contribution structurante dans le domaine.

Classification originale des méthodes suivant le modèlemathématique utilisé.Différents états de l’art portant sur :

1 Toutes les catégories de modèles : Revue sur plus de330 papiers (1) Tous les modèles [COSREV 2014][Handbook CRC Press 2014 Chapter 1 et 2]

2 Une catégorie de modèles : (2) Modèles flous (50) sous lademande de Lucia Maddalena (ICAR, Italie) [Handbook2012 Chapter 5], (3) décomposition en matrices de rangfaible et parcimonieuse (190) [en rédaction], (4) modèlesstatistiques (360) [RPCS 2011][Handbook 2010 Chapter 3].

3 Une sous-catégorie de modèles : (5) Mélange deGaussiennes (250) [RPCS 2008], (6) réduction dedimension (60) [RPCS 2009], (7) ACP robustes (70) [CVIU2014][INTECH 2012].













Approches fondées sur les concepts flousPrise en compte de l’imprécision et de l’incertitude.

Travaux de thèse de Fida El Baf (2005-2009).Directeur de thèse : Bertrand Vachon (10%).Encadrant Scientifique : Thierry Bouwmans (90%).

Modélisation floue du fond [ISVC 2008][OTCBVS 2009].Classification floue des pixels en fond/objets mobiles[WIAMIS 2008][FUZZ-IEEE 2008][OTCBVS 2008].Mise à jour adaptive floue de l’image du fond [ICIP 2008].





Modélisation floue du fond.Publication [ISVC 2012]

Estimation des paramètres des MOG peut être faussée àcause de données manquantes ou du bruit.Approche proposée : Introduction d’un facteurd’incertitude sur la moyenne et la variance pour les MOGpar les ensembles flous de Type-2 proposée par Zheng etal. (2008).






Distribution des mélanges de Gaussiennes floues :1 Incertitude autour de la moyenne (T2F-MOG-UM) :

η (Xt , µ̃,∑

) =1

(2π)32 |∑|

12

∏c∈{R,V ,B}

exp

[−1

2

(Xt ,c − µ̃c

σc

)2]

avec µ̃c ∈[µc , µc

]2 Incertitude autour de la variance (T2F-MOG-UV) :

η(

Xt , µ,∑̃)

=1

(2π)32 |∑|

12

∏c∈{R,V ,B}

exp

[−1

2

(Xt ,c − µc

σ̃c

)2]

avec σ̃c ∈ [σc , σc]






Les facteurs km et kν déterminent les intervalles danslesquelles les paramètres du mélange de gaussiennesvarient :

µ = µ− kmσ, µ = µ+ kmσ, km ∈ [0,3] , (1)

σ = kνσ, σ =1kνσ, kν ∈ [0.3,1] . (2)

car 99% des données sont dans l’intervalle[µ− 3σ, µ+ 3σ].Résultats optimaux pour les valeurs (expérimentales) :km = 2 et kv = 0.9.






Classification Fond/Objets MobilesLa longueur H (X ) =

∣∣ln (h (X ))− ln(h (X )

)∣∣ qui décritl’incertitude de l’entrée X au T2-EF. H minimum quandincertitude minimale.






Test de correspondance d’appartenance auxGaussiennes

H (Xt) < kσ

où k = 2.5 est un seuil constant déterminéexpérimentalement.Mise à jour des Gaussiennes flouesProcessus identique aux MOG de Stauffer et Grimson(1999).





Classification floue des pixels en fond/objet.Publication [FUZZ-IEEE 2008]

Combinaison de résultats venant de différentes caractéristiques(Couleur, contour, texture, mouvement, stéréoscopique).

Approches traditionnelles : "OU" ou "ET" logique, moyenne,etc...

Première approche floue proposée par Zhang et Xu (2006) avecl’intégrale de Sugeno (Echelle ordinale).

Agrégation non linéaire de tous les résultats et prise en comptede la fiabilité de la source.

Approche proposée : Agrégation avec l’intégrale de Choquet(Echelle cardinale) car les pixels n’ont pas de relation d’ordre entreeux mais plutôt une relation d’ensemble.





Classification floue des pixels en fond/objet.Publication [FUZZ-IEEE 2008]

Agrégation de caractéristiques couleur et texture avecl’intégrale de Choquet (Cµ (x , y)) pour plus de robustesseaux variations lumineuses.

Couleur : RGB, HSV,YCrCb, Ohta, etc..

Texture : LBP, STLBP,ELBP, etc...

Classification des pixels :

Si Cµ (x , y) < Talors pixel (x , y) est classé en"objet mobile".T est un seuil fixe.

Caractéristiques de type Couleur

Caractéristiques de type Texture

Mesure de similarité Mesure de similarité

Bt(x,y) It+1(x,y)

Mesure de similarité pour la couleur

Mesure de similarité pour la texture

Intégrale floue de Choquet

Classification Fond/Objets Mobiles

Masque de détection





Mise à jour adaptive floue de l’image du fond.Publication [ICIP 2008]

1 Mise à jour non sélective (Blind update) :

Bt+1 (x , y) = (1− α)Bt (x , y) + αIt (x , y) (3)

où α est un coefficient d’apprentissage compris entre 0 et 1.Pollution par les pixels "objets mobiles" !

2 Mise à jour sélective (Selective update) :

Bt+1 (x , y) = (1− α)Bt (x , y) + αIt (x , y) (4)

si pixel (x , y) ∈ Fond

Bt+1 (x , y) = Bt (x , y)

si pixel (x , y) ∈ Objets MobilesDécision binaire. Si fausse classification, fausse détectionrenforcée !





Mise à jour adaptive floue de l’image du fond.Publication [ICIP 2008]

Approche proposée : Mise à jour adaptive suivant le degré declassification à la classe "fond" ou "objets mobiles" en utilisant lerésultat de l’intégrale de Choquet comme suit :

Bt+1 (x , y) = µF Bt (x , y) + (5)µB ((1− α)Bt (x , y) + αIt (x , y))

où µF = 1− µB. µF et µB sont les degrés d’appartenance du pixel(x , y) aux classes fond/objets mobiles.µB est une fonction de la valeur de Cµ (x , y) avec :µB = 1 pour Max (Cµ (x , y))µB = 0 pour Min (Cµ (x , y))





Concepts flous : quelques résultats qualitatifs.

Evaluation sur la base de données I2R. Plus de résultats sur le siteT2FMOG 2.

Image Originale MOG Stauffer T2-FMOG-UM T2-FMOG-UV(1999) El Baf et al.(2008) El Baf et al. (2008)

Cas de vibrations de la caméra - moins de faux positifs.

2. http://sites.google.com/site/t2fmog/Thierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 40 / 77

http://sites.google.com/site/t2fmog/




Concepts flous : quelques résultats qualitatifs.Evaluation sur la base de donnée PETS 2006 et Wallflowerdisponible à l’époque. Plus de résultats sur le site Fuzzy ForegroundDetection 3 et Fuzzy Background Maintenance.

Image Originale Vérité terrain Sugeno-Ohta Choquet-YCrCbXu et Zhang (2006) El Baf et al. (2008)

1) Classification floue - Silhouettes mieux détectées, moins de faux positifs

Image Originale Vérité terrain Selective Adaptative floue

2) Mise à jour floue - Silhouette mieux détectée (tête).

3. http://sites.google.com/site/fuzzyforegrounddetection/Thierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 41 / 77

http://sites.google.com/site/fuzzyforegrounddetection/




Concepts flous : quelques résultats quantitatifs.

Modélisation Floue en termes de faux positifs (FP) et fauxnégatifs (FN).

Méthode Type Image Image Image Image Total Moyenne Moyenne d’erreursd’erreurs 271 373 410 465 d’erreurs d’erreurs sur toute la séquence

MOG FN 0 1120 4818 2050Stauffer et Grimson FP 2093 4124 2782 1589 18576 4644 12512T2-FMOG-UM FN 0 1414 6043 2520El Baf et al. FP 203 153 252 46 10631 2657 1400T2-FMOG-UV FN 0 957 2217 1069El Baf et al. FP 3069 1081 1119 1158 10670 2667 2624

Classification floue par intégrale de Choquet avec mesure desimilarité de Li (2004) (Coefficient de Jacquard).

Intégrale Sugeno (Ohta, LBP) Choquet (Ohta, LBP Choquet (HSV, LBP) Choquet (YCrCb, LBP)Zhang et Xu El Baf et al. El Baf et al. El Baf et al.

S (A,B)% 27 44 34 46

Evaluation plus complète dans Sobral et Vacavant [CVIU 2014].





Concepts flous : quelques temps de calcul.

Implémentations en C avec la librairie OpenCV.Temps de calcul acceptables ou améliorables parimplémentation GPU.

Algorithme Images par secondeMOG 20

T2-FMOG-UM 11T2-FMOG-UV 12"OU" Logique 40

Intégrale de Sugeno 22Intégrale de Choquet 31





Concepts flous appliqués à la suppression de fond.Impact scientifique.

51 publications recensées en 2014 dont 15 fondées sur lestravaux de thèse de Fida El Baf.

1 Modélisation floue - T2-FMOG (2 papiers) :Utilisation (personne), Champ de Markov.

2 Classification floue - Intégrale de Choquet (11 papiers) :HSI, Texture (ULBP), Mesure de similarité, Fusion de troiscaractéristiques (contour, mouvement), utilisation (véhicule)

3 Mise à jour floue (3 papiers) : Utilisation de la règle demise à jour floue, α déterminé par système d’inférence flou.

Perspectives :1 Toutes les méthodes statistiques avec paramétres peuvent

avoir une version floue !2 Autres concepts flous : Histogramme flou, filtre estimateur

flou, descripteurs flous, post-traitements flous, etc...













Approches fondées sur les méthodes de réductionreconstructives, discriminatives et mixtesPrise en compte de l’aspect reconstructif versus discriminatif.

Travaux de master "Recherche" ERASMUS de DianaFarcas et Cristina Marghes (2009).Encadrant Scientifique : Thierry Bouwmans (100%).

État de l’art complet sur les méthodes de réduction [RPCS2009].Modélisation/Mise à jour du fond par une méthodediscriminative (IMMC) [MVA 2012].Modélisation/Mise à jour du fond du fond par une méthodemixte (IPCA-LDA) [IPCV 2012].





Approches fondées sur des méthodes de réduction dedimension reconstructive.Publication [RPCS 2009]

Réduction de dimension reconstructive : Analyse encomposantes principales (ACP), analyse en composantesindépendantes (ACI) et IRT sont les plus utilisées.Hypothèse : Information principale contenue dans laséquence d’apprentissage correspond au fond et lesobjets mobiles ont une contribution faible.Hypothèse vérifiée que si les objets mobiles sont petits ouloins de la caméra.Aspect non supervisé (initialisation avan./inconv.) etbeaucoup de versions incrémentales (mise à jour).





Approche fondée sur une réduction de dimensiondiscriminativePublication [MVA 2012]

Réduction de dimension discriminative : Analysediscriminante linéaire (ADL) est la plus utilisée.

Avantages :1 Plus efficace et donne de meilleurs résultats sur les

aspects classification.2 Initialisation supervisée robuste de l’image de fond.

Inconvénients :1 Aspect supervisé (vérité-terrain nécessaire à l’initialisation)2 Peu ou pas de versions incrémentales (mise à jour)






Réduction de dimension (ADL) par Incremental Maximum MarginCriterion (IMMC) développée par Yan et al. (2004).

1 Matrice inter-classe :

Sb =c∑

i=1

pi(mi −m)(mi −m)T (6)

2 Matrice intra-classe :

Sw =c∑

i=1

piE(ui −mi)(ui −mi)T (7)

c nombre de classes, m moyenne sur toutes les données, mimoyenne sur les données appartennant à la classe i ,pi probabilité a priori d’une donnée d’appartenir à la classe i .






Minimisation de la fonction suivante :

J(W ) = W T (Sb − Sw )W (8)

où W est obtenue en résolvant la décomposition envecteurs propres (Sb − Sw )w = λw .Mise à jour incrémentale des p premières valeurs et ppremiers vecteurs propres.






Classification des pixels comme suit :

Mt(x , y) =

{1, si d ( It(x , y),Bt(x , y)) > T0, sinon

(9)

où It(x , y), Bt(x , y) et Mt(x , y) sont l’image courante, l’image defond et le masque des objets mobiles à l’instant t . T est un seuilconstant déterminé expérimentalement. d(., .) est une distance.





Approche fondée sur une réduction de dimensionmixte.Publication [IPCV 2012]

Combiner les avantages complémentaires des méthodesreconstructives et discriminatives (Algorithme IPCA-LDA).

Modélisation du fond par une méthode reconstructive(ACP) : p premiers vecteurs (fond).Information discriminative dans les (c − 1) vecteursadditionnels (LDA) avec c = 2 au moins.Mise à jour de la structure mixte :

1 IPCA pour la partie reconstructive.2 ILDA pour la partie discriminative.





Réduction de dimension discriminative et mixte :quelques résultats qualitatifs.

Evaluation sur la base de donnée Wallflower disponible à l’époque.Plus de résultats sur le site IMMC Foreground Detection 5.

IMMC et IPCA-LDA - Silhouettes mieux détectées5. http://sites.google.com/site/immcforegrounddetection/


http://sites.google.com/site/immcforegrounddetection/




Réduction de dimension discriminative et mixte :quelques résultats quantitatifs.

Evaluation sur la base de donnée Wallflower disponible à l’époque.Plus de résultats sur le site IMMC Foreground Detection 5.

Challenges

Type MO TD LS WT C B FA TotalAlgorithmes Erreurs Errors (TE)

SG False neg 0 949 1857 3110 4101 2215 3464Wren et al. (1998) False pos 0 535 15123 357 2040 92 1290 35133

MOG False neg 0 1008 1633 1323 398 1874 2442Stauffer et al. (1999) False pos 0 20 14169 341 3098 217 530 27053

KDE False neg 0 1298 760 170 238 1755 2413Elgammal et al. (2000) False pos 0 125 14153 589 3392 933 624 26450

PCA False neg 0 879 962 1027 350 304 2441Oliver et al. (1999) False pos 1065 16 362 2057 1548 6129 537 17677

IMMC (30) False neg 0 1336 2707 4307 1169 2677 2640Farcas et al. (MVA 2012) False pos 0 11 16 6 136 506 203 15714

IMMC (100) False neg 0 626 711 4106 1167 2175 2320Farcas et al. (MVA 2012) False pos 0 10 15 5 135 503 201 11974

IPCA-LDA False neg 0 443 1107 1426 922 2380 2025Marghes et al. (IPCV 2012) False pos 0 103 49 958 204 142 576 10335

5. http://sites.google.com/site/immcforegrounddetection/Thierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 54 / 77

http://sites.google.com/site/immcforegrounddetection/




Réduction de dimension discriminative et mixte :quelques temps de calcul - perspectives.

Temps de calcul en fps (Implémentation en C) :1 Modèles Gaussiens : SG (71 fps), MOG (33 fps), KDE (11

fps).2 Modèles reconstructifs : PCA (3 fps), IRT (5 fps).3 Modèles discriminatifs et mixtes : IMMC (7 fps), IPCA-LDA

(9 fps).Perspectives :

1 Seuillage adaptatif [Xu et al. OE 2008].2 Régularisation par champ de Markov.3 Implémentation temps réel sur carte graphique (GPU).













Décomposition en matrices de rang faible etparcimonieuse.Prise en compte de l’aspect rang faible et parcimonieux.

Travaux de thèse de Charles Guyon (2010-2014).Directeur de thèse : El-Hadi Zahzah (50%).Encadrant Scientifique : Thierry Bouwmans (50%).

État de l’art complet sur les méthodes de décomposition etvalidation [CVIU 2014][ICIP 2012][ICIAR 2012][ISCV2012].ACP robuste via Iterative Reweighted Least Squares [ISVC2012][ICPR 2012][ACCV-BMC 2012].ACP robuste polynomiale non linéaire [en rédaction].





Décomposition en matrices de rang faible etparcimonieuse.Principe.

ACP employée par Oliver et al. (1999) : Pas robuste auxdonnées aberrantes (outliers).ACP robuste par Candes et al. (2009) : Décomposition enmatrices de rang faible et parcimonieuse.La matrice observation A est ainsi décomposée commesuit :

A = L + S (10)

où L est une matrice de rang faible et S est une matriceparcimonieuse contenant une faible partie de cescoefficients qui sont non nuls.





Décomposition en matrices de rang faible etparcimonieuse.Illustration sur la séparation Fond/Objets Mobiles.

FIGURE: Décomposition(Source : University of Illinois 6) FIGURE: Application à la

séparation fond/objets mobiles.

6. http://perception.csl.illinois.edu/matrix-rank/home.htmlThierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 59 / 77

http://perception.csl.illinois.edu/matrix-rank/home.html




Décomposition en matrices de rang faible etparcimonieuse.Adéquation avec l’application de séparation Fond/Objets Mobiles.

Outliers considérés comme bruit avec répartition uniformemais pas le cas des objets mobiles qui sont localisés.Temps de calcul et occupation mémoire importants.Seuls des résultats visuels fournis et pas d’évaluationquantitative comme dans la communauté "backgroundmodeling".Pas de prise en compte des aspects spatio-temporels.Pas temps-réel. Pour 200 images, 40 minutes !Pas incrémentale pour la mise à jour mais seulementalgorithme de type "Batch".





Décomposition en matrices de rang faible etparcimonieuse.État de l’art et évaluation [CVIU 2014].

Vrai engouement de la communauté ACP robuste et decelle de la soustraction de fond.Ouverture vers d’autres méthodes que les MOG et KDE.Notre contribution :

État de l’art sur plus de 70 articles portant sur l’ACProbuste [CVIU 2014].Evaluation de 19 algorithmes sur la base de données BMC2012 [CVIU 2014].

Performance et robustesse meilleure que les MOG maispas d’algorithmes à la fois incrémental et temps réel.





ACP robuste par Iteratively Reweighted Least Square(IRLS).Publications [ISVC 2012][ICPR 2012][ACCV-BMC 2012]

Ajout d’un troisième terme pour modéliser le bruit.Ajout de la contrainte spatiale lors de la minimisation.

Problème de minimisation avec A matrice dictionnaire et bvecteur colonne :

argminx

||Ax − b||α + µ||grad(s)φ(E)||1, E = |b − Ax | (11)

où grad(s) est le gradient spatial. L’erreur doit avoir une formeconnexe. Minimisée par la mesure de Variation Totale.Problème convexe pour α > 1 résolu par l’algorithme IRLS.





ACP robuste polynomiale non-linéaire.Publication [en rédaction]

Prise en compte des effets non linéaires locaux dans levoisinage des pixels.Variations lumineuses soudaines, variations desparamètres de la caméra (auto-ajustements) et bruit lorsde l’acquisition.Aspect additif de certaines variations et aspect multiplicatifd’autres variations.Norme mixte ||.||α,β et l’algorithme IRLS.





ACP robuste polynomiale non-linéaire.Publication [en rédaction]

Problème de minimisation formulée comme suit :

minB,C

rank(φ(B)C) + λ||S|| s.t .

{A = BC + Sdet(CC′) = 1

(12)

φ() est une fonction non linéaire de Rp à Rq avec p < q.L’algorithme IRLS est utilisé pour minimiser de façon alternativecette équation pour obtenir les matrices φ(B) et C.





ACP robustes : quelques résultats qualitatifs.Evaluation sur la base de données ChangeDetection.net 2012. Vidéos réelles.

Plus de résultats sur le site RPCA Foreground Detection 6.Image originale, vérité terrain,RPCA-BPCP, RPCA-PCP (LADMAP), RPCA-PCP(LSADM), GRASTA et RPCA-IRLSGuyon et al. (2012).

Application à la séparation fond/objets mobiles - moins de faux positifs.

6. http://sites.google.com/site/rpcaforegrounddetection/Thierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 65 / 77

http://sites.google.com/site/rpcaforegrounddetection/




ACP robustes : quelques résultats quantitatifs.Evaluation sur la base de données BMC 2012 (F-mesure). Vidéos réelles.

Méthodes Algorithmes Mesures Vidéos réelles Moyenne001 002 003 004 005 006 007 008 009

RPCA-PCP EALM Recall 0.723 0.765 0.878 0.839 0.660 0.800 0.739 0.670 0.748 -Candès et al. Lin et al. Precision 0.554 0.855 0.958 0.844 0.543 0.729 0.899 0.728 0.965 -

F-mesure 0.628 0.807 0.916 0.842 0.596 0.763 0.811 0.698 0.843 0.697IALM Recall 0.847 0.664 0.909 0.840 0.785 0.792 0.583 0.767 0.856 -Lin et al. Precision 0.735 0.873 0.947 0.827 0.632 0.793 0.833 0.781 0.957 -

F-mesure 0.787 0.754 0.928 0.833 0.701 0.792 0.686 0.774 0.904 0.794ADM Recall 0.840 0.653 0.886 0.831 0.780 0.790 0.577 0.758 0.863 -(LRSD)Yuan and Yang Precision 0.751 0.876 0.946 0.820 0.633 0.782 0.828 0.781 0.952 -

F-mesure 0.793 0.749 0.915 0.825 0.699 0.786 0.680 0.769 0.906 0.791LADMAP Recall 0.840 0.671 0.887 0.831 0.774 0.794 0.573 0.754 0.863 -Lin et al. Precision 0.751 0.865 0.945 0.818 0.634 0.782 0.840 0.791 0.952 -

F-mesure 0.793 0.756 0.915 0.824 0.697 0.788 0.681 0.772 0.906 0.792BLWS Recall 0.726 0.767 0.842 0.811 0.688 0.805 0.752 0.676 0.705 -Lin and Wei Precision 0.549 0.846 0.963 0.835 0.528 0.714 0.898 0.635 0.959 -

F-mesure 0.625 0.805 0.899 0.823 0.598 0.757 0.818 0.655 0.812 0.839RPCA-SPCP NSA Recall 0.838 0.765 0.934 0.875 0.660 0.805 0.599 0.771 0.748 -Zhou et al. Aybat et al. Precision 0.664 0.855 0.951 0.877 0.543 0.805 0.843 0.781 0.965 -

F-mesure 0.741 0.807 0.942 0.876 0.596 0.805 0.700 0.776 0.843 0.787RPCA-QPCP TFOCS Recall 0.840 0.655 0.900 0.843 0.793 0.795 0.585 0.763 0.856 -Becker et al. Becker et al. Precision 0.736 0.879 0.948 0.823 0.633 0.792 0.833 0.795 0.956 -

F-mesure 0.785 0.751 0.923 0.833 0.704 0.793 0.687 0.779 0.904 0.794RPCA-BPCP ALM Recall 0.723 0.765 0.878 0.839 0.660 0.800 0.749 0.670 0.748 -Tang and Nehorai Tang and Nehorai Precision 0.554 0.855 0.958 0.844 0.543 0.729 0.900 0.728 0.965 -

F-mesure 0.628 0.807 0.916 0.842 0.596 0.763 0.817 0.698 0.843 0.767ACP robuste via IRLS spatiale et temporelle IRLS Recall 0.913 0.878 0.965 0.955 0.910 0.900 0.911 0.865 0.930 -Guyon et al. [ACCV 2012] Guyon et al. Precision 0.717 0.865 0.812 0.718 0.558 0.772 0.840 0.671 0.823 -

F-mesure 0.803 0.872 0.882 0.820 0.692 0.831 0.874 0.755 0.874 0.822ACP robuste polynomiale IRLS Recall 0.821 0.649 0.903 0.835 0.781 0.801 0.583 0.756 0.835 -Guyon et al. [En rédaction] Guyon et al. Precision 0.668 0.851 0.949 0.825 0.626 0.796 0.823 0.775 0.956 -

F-mesure 0.737 0.737 0.925 0.830 0.695 0.798 0.682 0.765 0.892 0.784

BLWS : 0.839, ACP-IRLS : 0.822, ACP polynomiale : 0.784.ACP robuste via IRLS spatiale et temporelle (second score)mieux que RPCA-BPCP.ACP robuste polynomiale (score moyen).





ACP robustes : quelques temps de calcul -perspectives

Temps de calcul en fps (Implémentation en C) : en coursdans la thèse de Charles Guyon.Impact scientifique : 1 Total Variation Regularized RPCA(IEEE T-Cybernetics), 1 spatial RPCA (IEEE TIP).Perspectives :

1 ACP robustes, suivi de sous-espaces, et minimisation enrang faible : Plus de 190 articles depuis 2009 et recensés àce jour.

2 État de l’art et évaluation complète de plus de 30algorithmes.

3 Version temps-réel et incrémentale ACP robuste via IRLSet ACP robuste polynomiale.




ConclusionsContributions scientifiques - Partie 1

Trois nouvelles approches proposées dans le domaine lorsd’encadrement de thèses/masters "recherche" :

1 Approche fondée sur les concepts flous :1) Modélisation Type-2 FMOG , 2) Classification avec l’intégralede Choquet et 3) Mise à jour adaptive floue.(1 Chapitre, 1 Journal, 9 Conférences)

2 Approche de réduction discriminative et mixte :1) Initialisation robuste du fond et 2) Mise à jour incrémentale dufond.(1 Journal, 3 Conférences)

3 Approche par ACP robuste :1) Evaluation exhaustive, 2) ACP robuste via IRLS et 3) ACProbuste polynomiale non-linéaire.(1 Chapitre, 6 Conférences)




ConclusionsContributions scientifiques - Partie 2

Trois nouvelles approches proposées dans le domaine lorsd’encadrement de thèses/masters "recherche" :

Plus robustes aux principaux challenges (que les MOG) : Fondsdynamiques, variations lumineuses, bootstrapping, taille desobjets,...

Impact scientifique : Approches floues (15) et RPCA (2).

Applications dans des projets :1 Projet Aqu@thèque (El Baf et al. [FUZZ-IEEE 2008]).2 Détection de personnes (Alimi et al. [SoCPaR 2014]).3 Détection de véhicules (Lu et al. [FUZZ-IEEE 2014]).




ConclusionsRayonnement scientifique

Activités structurantes dans le domaine :

1 11 états de l’art (5 Chapitres, 6 Journaux) portant surenviron 1500 articles.Plus de 150 méthodes classées en catégories etsous-catégories par type de modèles employés.

2 Numéro spécial (MVA) avec 12 articles.Background Modeling for Foreground Detection in real-worlddynamic scenes" avec J. Gonzalez, C. Shan, M. Piccardi et J.Davis.

3 Livre (Handbook-CRC Press) avec 25 chapitres (600 pages)."Background Modeling and Foreground Detection for VideoSurveillance" avec F. Porikli, B. Höferlin et A. Vacavant.

4 Site de réference Background Subtraction Website.




Perspectives à court/moyen termeDomaine des méthodes de suppression de fond.

A la poursuite de la méthode "idéale"...

Initialisation du fond peu étudiée (Cas fond peu visibledans les séquences courtes).Modélisation à base de tenseurs (Thèse AndrewsSobral).(1 Chapitre, 2 Conférences) + 2 librairies (BGS et LRS)Sélection de caractéristiques (Thèse Carolina PachecoE. Da Silva).(1 Conférence en soumission)Méthode "idéale" : Plusieurs modèles puis sélection dumodèle adapté aux challenges détectés.




Perspectives à court/moyen termeActivités structurantes.

Proposition Workshop à ICCV 2015."When robust subspace learning meet background modeling"avec B. Wohlberg (Los Alamos University, USA), J. Wright(Columbia University, USA) et N. Vaswani (Iowa State University,USA). Rencontres 2 communautés.Livre complet sur la modélisation de fond (WSPC ComputerVision Series, 2016)."Background Subtraction for Moving Object Detection : Theoryand Practices" avec A. Sobral et E. Zahzah. Livre pédagogiquecomplet.Livre (Handbook) sur ACP robustes (25 chapitres, CRCPress, 2015)."Robust Decomposition in Low Rank and Sparse Matrices in itsapplication in Image and Video Processing" avec N. Aybat(Pennsylvania State University, USA) et E. Zahzah.




Perspectives à moyen/long terme

Recherche scientifiqueCas des caméras fixes :Systèmes multi-capteurs (caméra couleur, caméra IR etcaméra RGB-D).Informations exogènes (position GPS, conditionsclimatiques)Informations contextuelles (forme et/ou couleur).Extension au cas des caméras mobiles :Caméras embarquées (automobile, etc...), smartphone,etc...Compensation de mouvement, reconstruction d’image defond panoramique, approche géométrique (stéréovision).




Perspectives à moyen/long terme

Collaborations internationalesCVC, Universitat Autònoma de Barcelona, Espagne avecJordi Gonzàlez (Professeur associé)A. Sobral (ACI 3 mois en 2014), C. Pacheco (ACI 3 mois en2015) - Etude du comportement (ACP robustes, Descripteurs).Kyungpook National University (KNU), Corée du sud avec SajidJaved (Doctorant) et Soon Ki Jung (Professeur).co-encadrement de thèse en cours (1 publication communeACCV 2014) - Suppression de fond par ACP robustes.Universidad Nacional de Colombia Sede Manizales, Colombieavec Santiago Giraldo (Doctorant), Andres Alvarez (Professeurassocié) et Cesar Castellanos Dominguez (Professeur, Directeurde "Grupo de Control y Procesamiento Digital de Señales").Projet "Universal Background Subtraction" déposé àCOLCIENCIAS (Agence pour la recherche en Colombie).Possibilité co-encadrement de thèse.




Remerciements

Merci pour votre attention ! ! !Thank you !

Muchas gracias por venir !Obrigado !




PerspectivesPour questions.

Système multi-modèles : Détection du type de challenges etsélection du modèle approprié.

Modèles Fonds dynamiques Variations lumineuses

MOG oui -

T2F-MOG oui -

ACP robustes - oui

TABLE: Performance suivant les challenges.




PerspectivesPour questions.

Systéme multi-caractéristiques (multi-descripteurs) : Détectiondu type de challenges et sélection de la caractéristiqueappropriée.

Caractéristiques Fonds dynamiques Variations lumineuses

Couleur oui -

Texture oui -

Stéreoscopique - oui

Contours - oui

Mouvement oui -

TABLE: Performance suivant les challenges.
