24
Quoi de neuf, Docteur ? Marc VAN DROOGENBROECK - ULg / INTELSIG La détection de mouvement dans une vidéo : histoire d'une technologie et d'un brevet

Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

Embed Size (px)

DESCRIPTION

ViBE -pour Visual Background Extractor- est une technologie élaborée conjointement par le Professeur Marc Van Droogenbroeck et Olivier Barnich dans le cadre de la thèse de ce dernier. Aujourd'hui brevetée en Europe, au Japon et aux Etats-Unis, cette technologie permet de détecter, avec une grande précision, le mouvement dans une séquence vidéo. La conception de cette nouvelle technologie, dont le résultat tient sur une page et qui peut s'intégrer aisément dans un smartphone, a nécessité des années de travail. Les applications de ce programme sont nombreuses et elles peuvent concerner toutes les applications qui font de l'analyse de séquences vidéo.

Citation preview

Page 1: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

Quoi de neuf, Docteur ?

Marc VAN DROOGENBROECK - ULg / INTELSIG

La détection de mouvement dans une vidéo : histoire d'une technologie et d'un brevet

Page 2: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

Avec le soutien de :

Page 3: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Table des matieres

1 Une technologieGenese d’une technologieDescription de la technologie ViBeApplications

2 Protection de la technologie

3 Valorisation de la technologie

2 / 23

Page 4: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Contexte : detection et reconnaissance de personnes

1 2 3 5 8 13 21 34 5560

65

70

75

80

85

90

95

100

Size of the majority vote window (V)

Corr

ect id

entification r

ate

M=N=15

M=N=20

3 / 23

Page 5: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Le mouvement est lie a de l’information utile

4 / 23

Page 6: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Que cherche-t-on dans une video ?

I Au contraire des images, la video a un aspect dynamique etdonc du mouvement.

I Les objets en mouvement se caracterisent par :

une formeune apparence

I Exemple

la peau ⇒ l’apparence (couleur)le visage ⇒ la forme et l’apparenceune personne ⇒ principalement sur base de la silhouette

5 / 23

Page 7: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Analyse de la silhouette I

Detection de personnes dans une sequence video

6 / 23

Page 8: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Analyse de la silhouette II

Classification d’objet sur base de la forme

7 / 23

Page 9: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Repenser la detection de mouvement pour obtenir demeilleures silhouettes

Difficultes :

I la detection des formes n’est pas precise

I manque de robustesse

Scenario ideal :

(a) Image d’entree (b) Ground-truth

8 / 23

Page 10: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Techniques existantes

(c) Codebook (d) EGMM [Zivkovic] (e) GMM [Li et al.]

(f) Modele gaussien (g) 1st order filter (h) Sigma-Delta.

9 / 23

Page 11: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Cahier des charges

Contraintes pour une nouvelle technique :

I meilleur detourage des objets

I peu d’operations

I fonctionnement en temps reel

I applicable sur un grand nombre de videos

10 / 23

Page 12: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Approche classique

Definition

arriere-plan ou background = partie qui n’est pas en mouvementavant-plan ou foreground = partie en mouvement

Classiquement, on procede comme suit :

I modelisation de l’arriere-plan et stockage du modele

I lorsqu’une nouvelle image se presente, on compare chaquepoint de l’image (pixel) a son modele

I si le modele est proche de la valeur du pixel, alors le pixel faitpartie du background, sinon c’est un point de l’avant-plan

I mise a jour du modele de background

11 / 23

Page 13: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Innovation

ViBe se caracterise par plusieurs innovations

I Modele = nombre d’echantillons du passe

I Critere d’appartenance au background basee sur unecomparaison de la valeur du pixel aux echantillons du modele

I Mise a jour temporelle aleatoire

I Remplacement aleatoire des valeurs de l’echantillon

12 / 23

Page 14: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Video-surveillance et securite

I Detection de personnes

I Comptage

I Analyse de trajectoire

13 / 23

Page 15: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Analyse de la marche

14 / 23

Page 16: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Reglage de parametres dans un appareil de prise de vue

Reglage du focuss

15 / 23

Page 17: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Genese d’une technologieDescription de la technologie ViBeApplications

Impainting

16 / 23

Page 18: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Logiciel

ViBe se decline principalement comme un logiciel.

Protections possibles

* par secret (oui, mais possibilite de reverse engineering)* par brevet* ?

17 / 23

Page 19: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Difficultes

I Difficultes contextuelles

l’Universite favorise les publicationsfinancement ?ou s’arrete une technologie quand un laboratoire continue afaire evoluer cette technologie ?

I Difficultes propres a ViBe

copiage facilepas d’outil de benchmarking universeldans quel appareil place-t-on la technologie ?

smartphoneappareil photo ou camescopePCcamera embarque

18 / 23

Page 20: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Brevets

Demande introduite en juillet 2007.

I M. Van Droogenbroeck, and O. Barnich, Visual backgroundextractor,

World Intellectual Property Organization, WO 2009/007198,Application number EP07112011.7, January 2009.European Patent Office, EP 2 015 252 B1, 2010.Japan Patent Office, JP 2011 4699564 B2, June 2011.United States Patent and Trademark Office, US 8,009,918 B2,18 pages, August 2011.

Points particuliers :

I couverture geographique.

I que protege-t-on ? Le brevet parle de signaux et ne se limitepas a des images.

I on embrasse un maximum de notions (modele hierarchique,notion temporelle elargie, etc).

19 / 23

Page 21: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Le produit

Il est necessaire de comprendre la technologie et l’exploitation

I C’est fondamentalement une technologie qui est en amont dela plupart des techniques d’analyse du mouvement, voiretoutes !

I C’est du logiciel

I Il faut faire du “marketing”

20 / 23

Page 22: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Moyens pour valoriser

1 Choix d’un nom ! ... ViBe

2 Brevets : 4 brevets approuves

3 Logiciel de demonstration

creation d’un site Internet dedie[ http://www.motiondetection.org ]version de demonstration completement fonctionnelle

4 Implantations particulieres

PCappareil photo IXUSandroid (appareil photo et tablette)

5 Participation a des concours

21 / 23

Page 23: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Concours et benchmarking : changedetection.net

22 / 23

Page 24: Ingénierie | Détection du mouvement dans une vidéo par Marc Van Droogenbroeck | Liege Creative, 15.05.12

/home/mvd/tex/presentation/images/logoCoul

Une technologieProtection de la technologie

Valorisation de la technologie

Ce qu’en pensent d’autres auteurs

“Considering these aspects, Barnich is a strong favorite, since it issimple and almost parameterless.”

(S. Brutzer, B. Hoferlin, and G. Heidemann. Evaluation of background subtractiontechniques for video surveillance. In IEEE International Conference on ComputerVision and Pattern Recognition, pages 1937-1944, Colorado Spring, USA, June 2011)

“Recently, the first nondeterministic background model (ViBe) wasproposed in [1] and shown to outperform a wide variety of existingalgorithms. The ViBe model is unique in that it is the first andonly scene model that uses a completely stochastic maintenancealgorithm to integrate new information into the system.”

(N. Mould and J. Havlicek, A Conservative Scene Model Update Policy. In SouthwestSymposium on Image Analysis and Interpretation, Santa Fee, New Mexico, USA, April2012)

23 / 23