Interprétation de séquences d’images pour des applications de vidéosurveillance bancaires

Monique THONNAT et Nathanaël ROTA

Projet ORIONINRIA de Sophia Antipolis

25/09/2001 Orion 2

Objectifs Contexte Système d’interprétation vidéo Résultats Conclusion et Perspectives

Plan de l ’exposé

25/09/2001 Orion 3

Analyse automatique de vidéo: permet d ’analyser un grand nombre de

caméras

Reconnaissance de comportements intéressants: focalisation sur des cas utiles alerte des opérateurs pour décisions

Objectifs

25/09/2001 Orion 4

INRIA équipe Orion à Sophia Antipolis et Bull dans le cadre du GIE DYADE: recherches en vision cognitive

Caisse régionale de la Brie (responsable sécurité physique) et le département FTR de la FNCA. Accès à l ’agence de Moissy Cramayel fourniture de données (vidéos) modélisation des connaissances

Contexte

25/09/2001 Orion 5

Axe de recherches Orion: Interprétation automatique d’une scène à

partir de séquences d’images.

Domaines d’application: Surveillance de métro, parking, Espace médiatisé: bureau, salle à café, Surveillance d’agences bancaires.

Système d’interprétation video

25/09/2001 Orion 6

Approche utilisant: un flux vidéo issu d ’une camera fixe un modèle 3D de la scène vide un ensemble de modèle de comportements

Détection des personnes

et suivi de leurs déplacements

(2)

Reconnaissance de

comportements

(3)

Segmentationdu

mouvement

(1)

Caméra Utilisateur

Système d’interprétation vidéo

25/09/2001 Orion 7

Modèle 3D de la scène vide

•Contient des informations a priori sur la scène vide observée

•géométrie des objets 3D et des structures 2D (armoires, tables, murs, zones …)

•sémantique des objets 3D et des structures 2D (nom, fonction, caractéristiques, …. Exemple arrière guichet)

•Utilisé pour détection, suivi de personnes et reconnaissance de scénarios

25/09/2001 Orion 8

Modèle 3D de la scène vide

Modèle 3D agence de Moissy Cramayel

25/09/2001 Orion 9

Modèle 3D de la scène vide

Modèle 3D agence de Moissy Cramayel

25/09/2001 Orion 10

Différence entre 1 image courante et 1 image virtuelle (calculée) de la scène vide

Segmentation du mouvement

_

25/09/2001 Orion 11

Détection de personnes

Parcoursheuristique

Approche: parcourir les groupements de régions mobiles 2D jusqu’à obtenir un bon regroupement 2D et 3D.

25/09/2001 Orion 12

Suivi des déplacements

Approche: A partir de primitives d ’évolution (est la même personne que …, est entré, est sorti, est caché, etc. ), on calcule l ’évolution la plus vraisemblable.

A l ’instant t:

A l ’instant t+1:

Entrée

25/09/2001 Orion 13

Reconnaissance de scénarios

• Modélisation de comportements intéressants• en coopération avec J. Névot, J. Déchot et J.-Ph. Blanchard.

• 3 types de scénarios utiles et reconnaissables par capteur visuel:

•accès à une zone interdite (arrière guichet, local automate, etc..)•contrainte sur une personne•contrainte sur un groupe de personnes

25/09/2001 Orion 14

Reconnaissance de scénarios

Modélisation des comportements

= transformer la connaissance de l ’expert en modèles compréhensibles par le système

-> non automatique

25/09/2001 Orion 15

Reconnaissance de scénarios

« …une personne entre dans une zone»

«une personne à t est loin d ’une zone et proche à t+ dt»

«la distance entre une personne et la zone est supérieure à d1 à t et inférieure à d2 à t+ dt»

Exemple :

« Accès à une zone interdite de type automate »

«une personne entre dans une zone à t est n ’en n ’est pas sortie à t+ dt et la zone est une zone d ’automate interdite»

25/09/2001 Orion 16

Résultats

Séquence 1 contrainte sur une personne

25/09/2001 Orion 17

Résultats

Séquence 2accès arrière guichet puis contrainte sur une personne

25/09/2001 Orion 18

Résultats

Séquence 3Contrainte sur une personne puis accès coffre

25/09/2001 Orion 19

Résultats

Séquence 4 Contrainte sur un groupe de personnes

25/09/2001 Orion 20

Conclusions

Points positifs: Suivi des personnes de bonne qualité. Reconnaissance prometteuse d’accès à

zones interdites et contraintes sur une personne

Modélisation de la scène vide (3D et sémantique) nécessaire pour l interprétation de vidéo.

25/09/2001 Orion 21

Conclusions

Difficultés: Situation de contrainte sur groupe de

personnes Présence de nombreuses personnes

(occultations) Segmentation parfaite des individus (ombres,

reflets) Objets passifs déplacés (chaises, porte)

25/09/2001 Orion 22

Conclusions

Enseignements pour la banque: Etalonnage des lieux

utile pour précision localisationune fois suffit

Positionnement des caméras (plan large) Filtrage d’alarme mais pas de décision

25/09/2001 Orion 23

Conclusions

Etat d ’avancement: Prototype et non système opérationnel Recherches réalisées dans le cadre d’un partenariat

Dyade entre l’Inria et Bull terminé en mars 2001 Sans participation financière du Crédit agricole Nouveau partenariat associant le Crédit agricole

(nécessaire pour la connaissance du contexte bancaire) et l ’Inria.

25/09/2001 Orion 24

Perspectives

Thèmes de recherches: Prise en compte des objets 3D mobiles (ex: chaise)

dans la modélisation de la scène vide. Prise en compte de plusieurs capteurs (multi-cameras,

contacteurs ouverture porte, etc..) Description plus fine des individus suivis (couleur des

vêtements, modèle 3D, ….) Utilisation de techniques d ’apprentissage