Interprétation de séquences d’images pour des applications

MédiaSpace

Alberto AVANZI François BREMOND Monique THONNAT

Projet ORIONINRIA de Sophia Antipolis

31/01/2001 Orion 2

Objectifs Système d’interprétation video

Modèle 3D de la scène vide Détection des individus Suivi spatio-temporel d’individus Reconnaissance de scénarios

Résultats Conclusion et Perspectives

Plan de l ’exposé

31/01/2001 Orion 3

Eviter la rupture dans la coprésence: ex. éviter de rester en face de la caméra pour

avoir son image transmise

Protéger l’espace privé: ex: protéger des visiteurs qui ne se savent pas

observés

Objectifs

31/01/2001 Orion 4

Une caméra fixe grand angle observe toute la scène

Les personnes se déplacent librement Eviter la rupture dans la coprésence:

Seules les sous-parties intéressantes des images sont transmises

Protéger l’espace privé: Les images sont transmises en fonction du niveau de

disponibilité interprété

nécessité de l’interprétation de séquences vidéo

Objectifs

31/01/2001 Orion 5

Axe de recherches Orion: Analyser automatiquement une scène donnée

à partir des séquences d’images de cette scène.

Domaines d’application: Surveillance de métro, parking, Surveillance d’agences bancaires Espace médiatisé: bureau, salle à café.

Système d’interprétation video

31/01/2001 Orion 6

(1) Acquisition et numérisation d’images. (2) Traitement de séquences d’images: détecter

et suivre les individus. (3) Reconnaître les scénarios et les

comportements des individus évoluant dans la scène.

(4) Utilisation du modèle 3D de la scène vide.

Détection et suivid’individus

(2)

Reconnaissancede scénarios

(3)

Acquisition deséquences d’images

(1)

Caméra Utilisateur

Système d’interprétation video

31/01/2001 Orion 7

Modèle 3D de la scène vide

•Contient des informations a priori sur la scène vide observée

•géométrie des objets 3D et des structures 2D (armoires, tables, murs,…)

•sémantique des objets 3D et des structures 2D (nom, fonction, caractéristiques, ….)

•Utilisé pour détection, suivi et reconnaissance de scénarios

31/01/2001 Orion 8

Modèle 3D de la scène vide

Scène vide

31/01/2001 Orion 9

Modèle 3D de la scène vide

Deux vues VRML de la scène 3D modélisée

31/01/2001 Orion 10

Détection des régions mobiles. Détection de la couleur peau (coopération

avec PRIMA) Classification des régions mobiles

Classes: personne, groupe, bruit, objet de la scène vide, personne occultée,…

Utilise le résultat de la détection de peau Utilise le modèle de la scène vide

Détection des individus

31/01/2001 Orion 11

Détection des individus

31/01/2001 Orion 12

Détection des individus

31/01/2001 Orion 13

Détection des individus

Détection des zones de couleur de la peau dans les régions mobiles

31/01/2001 Orion 14

Suivi spatio-temporel d’individus

Régions mobiles

Module de suivispatio-temporel

d ’individus

Individus suivisDélai de T instants (images)

Approche: suivre les individus avec un retard T par rapport aux régions mobiles détectéesMotivations: permettre de rattraper les erreurs de suivi.

31/01/2001 Orion 15

Suivi spatio-temporel d’individus

B

B B

B

B

PP

B

B B

P P

P

B

B

B B

P= objet mobile classe PERSONNE B= objet mobile classe BRUIT

P P

P

P

B P P

t+1tt-1.........t-T

= piste

= individu

time

31/01/2001 Orion 16

Reconnaissance de scénarios

• Modélisation de comportements intéressants en coopération avec J Coutaz d ’IIHM

• Reconnaissance de quelques scénarios simples bases sur le nombre de personnes présentes dans le bureau observé

• Changement automatique du niveau de disponibilité en fonction du scénario reconnu

31/01/2001 Orion 17

Reconnaissance de scénarios

Modélisation des comportements

31/01/2001 Orion 18

Résultats

Séquence avec 0 à 2 personnes

31/01/2001 Orion 19

Résultats

Séquence avec 3 niveaux de disponibilité

Non disponible

Peu disponible

Disponible

31/01/2001 Orion 20

Résultats

Séquence avec croisement

31/01/2001 Orion 21

Résultats

Séquence avec croisement

Non disponible

Peu disponible

Disponible

31/01/2001 Orion 22

Conclusions

Points positifs: Détection, localisation, comptage et suivi des

personnes de bonne qualité. Modélisation de la scène vide (3D et sémantique)

nécessaire pour l interprétation de vidéo. Plate-forme d’interprétation

tourne sur un PC Linux traite jusqu’à 4 images par seconde 10 séquences de bureau ont été traitées

Approche générale qui peut être appliquée à de nombreuses autres situations d'interprétation

31/01/2001 Orion 23

Conclusions

Difficultés: Intégration avec la partie communication du

Mediaspace non aboutie. Réseau trop contraignant pour

expérimentation Hétérogénéité des materiels et logiciels des 3

équipes (Sun Solaris, MacIntosh, SGI) d’ou migration vers PC Linux

31/01/2001 Orion 24

Perspectives

Thèmes de recherches: Prise en compte des objets 3D déplaçables (ex:

chaise) dans la modélisation de la scène vide. Enrichissement des scénarios à reconnaître

(prise en compte de la localisation comme poste de travail, tableau, table de réunion,….)

Description plus fine des individus suivis (couleur des vêtements, modèle 3D, ….)

31/01/2001 Orion 25

Perspectives

Séquence difficile

31/01/2001 Orion 26

Perspectives

Séquence difficile

Non disponible

Peu disponible

Disponible

31/01/2001 Orion 27

Perspectives

Long terme: traiter des informations complémentaires, issues de

capteurs différents: capteur porte caméras stéréo capteur audio connexion de la personne à une machine (login)

extension multi-support (WAP, Palm-Pilot, montre…)

31/01/2001 Orion 28

Détection des individus

31/01/2001 Orion 29

Outil de travail collaboratif

Support à la coprésence

Facilite le contact informel, permanent entre les membres d’équipes distantes

Le projet MédiaSpace