« Analyse Multicapteurs pour la Reconnaissance d’Activités Humaines »

Présenté par : Nadia Zouba

Mars – Septembre 2006

Application au projet GERHOME

«Maintien des personnes âgées à domicile»

29/09/2006 1

Plan de la présentation

1. Introduction

2. État de l’art

3. Approche proposée

4. Représentation des événements

5. Détection et reconnaissance des événements

6. Résultats et évaluation

7. Conclusion

29/09/2006 2

Introduction

Habitudes de vie

Profil comportemental

Détecter des situations à risque

29/09/2006 3

État de l’art

Télésurveillance médicale à domicile Technologies multicapteurs pour observer les

activités quotidiennes d’une personne [Chan et al. 1995]

Outils statistiques [Fraley et al. 1998] : capteur physiologiques

Réseaux de neurones [Goodman et al. 1999] : capteur infrarouge

Approche probabiliste pour détecter les déviations au comportement normal [Mathews et al. 1995]: capteurs de mouvement

29/09/2006 4

État de l’art (2)

Reconnaissance de scénario Reconnaître les activités normales et anormales

d’une personne

Réseaux de neurone pour reconnaître des scénarios [Howell et al. 2002]

Réseau bayésien pour estimer la probabilité de scénarios potentiels [Bremond et al. 2000]

29/09/2006 5

Approche proposée

Combiner des informations issues de capteurs vidéo et de capteurs de contact.

3 tâches: Détection et suivi de personne et reconnaissance

d’événements vidéo Acquisition et filtrage des données capteur et

reconnaissance d’événements contact Combinaison des événements vidéo et contact

reconnus

29/09/2006 6

Approche proposée (2)

AlarmesFichier

log

Composants capteurCapteur 1

Capteur 2

Capteur n

Reconnaissance d’événements multimodaux

Détection et suivi d’objets

Vidéo 1

Vidéo 2

Vidéo m

Reconnaissance d’événements

vidéo

Composants Vision

filtre

filtre

filtre

Reconnaissance d’événements

contact

Connaissance a priori

Information géométrique et sémantique relative à

l’environnement

Événements d’intérêt définis par des experts

]]

29/09/2006 7

Représentation des événements Objectif

Formaliser les connaissance a priori de la scène observée Contexte 3D de la scène vide de l’environnement observé :

informations géométriques (position, surface, etc.) propriétés sémantiques (porte ouverte ou fermée, etc.)

<Zone ident="1" name="Kitchen" plane_name="ground">  <Ref_distance_list /> <Properties_list>  <Property name="In_out_zone:Strict" /> </Properties_list><Outline_list>  <Point x="0" y="-577" z="0" />   <Point x="0" y="-310" z="0" />   <Point x="185" y="-310" z="0" />   <Point x="185" y="-577" z="0" />   </Outline_list>  </Zone>

29/09/2006 8

Représentation des événements (2)

Modèles des événements d’intérêt prédéfinis par des experts médicaux(gérontologues)

Un événement principale se compose de 4 éléments:

Objets physiques (physical objects) : objets mobiles, équipements et zones d’intérêt

Composants (components) : sous événements qui composent l’événement principal

Contraintes (constraints) : conditions entre les objets physiques et / ou les composants

Action : décision à prendre quand l’événement est reconnu

29/09/2006 9

Représentation des événements (3)

3 types d’événements :

les états primitifs (primitive states): situation stable dans le temps (la personne est localisée dans la cuisine)

les événements primitifs (primitive events) : liste des changements d’état (changement de zone)

les événements composés (composite events): combinaison des états et / ou événements primitifs

29/09/2006 10

Représentation des événements (4)

État primitif «Inside_zone»: PrimitiveState (Inside_zone, PhysicalObjects ((p : Person), (z : Zone))Constraints ((p in z))Action (Priority “Normal” Store_in_logfile))

Événement primitif «Changes_zone»:PrimitiveEvent (changes_zone,PhysicalObjects ((p : Person), (z2 : Zone), (z1 : Zone))Components( (inside_z1 : PrimitiveState inside_zone(p, z1))

(inside_z2 : PrimitiveState inside_zone(p, z2)) )Constraints((inside_z2's Duration <= 5)

(inside_z1 before_meet inside_z2) )Action (Priority “Normal” Store_in_logfile) )

29/09/2006 11

Description des événements vidéo Détection d’objets mobiles

Comparaison à une image de référence Trouver l’ensemble de pixels (blobs) en

mouvement Regrouper ces pixels en objets mobiles Classifier ces objets mobiles en utilisant des

labels tel que PERSON

Suivi d’objets mobiles Associer un identifiant à chaque nouvel objet

mobile détecté Maintenir globalement son suivi dans la scène

Image de référence

29/09/2006 12

Description des événements vidéo (2)

(b) Résultats de la détection

(c) Résultats de la classification

(d) Résultats du suivi

(a) Image originale

29/09/2006 13

Reconnaissance d’événements vidéo

L’algorithme exécute 2 opérations [Vu et al. 2003]

Sélection de l’ensemble des objets physiques Vérification de toutes les contraintes temporelles

Exemple : reconnaissance de l’état primitif “Inside zone”

29/09/2006 14

Reconnaissance d’événements vidéo (2)

Résultat de la reconnaissance de l’événement «Inside zone». Le texte (person is in the Livingroom) apparaît sur l’écran quand l’événement est reconnu

29/09/2006 15

Description des événements contact

Des capteurs de contact (capteurs "Tout ou Rien") sont placés dans le laboratoire d’expérimentation pour observer les activités journalières d’une personne âgée.

4 états et événements primitifs : le statut des tiroirs de cuisine. UpperCupboard est le tiroir de vaisselle LowerCupboard est le tiroir de la nourriture

29/09/2006 16

Description des événements contact (2)

PrimitiveState (UpperCupboard_open,

PhysicalObjects ((c: Equipment))

Constraints ((IsUpperCupboardOpen(c))) )

PrimitiveEvent (person_OpenUpperCupboard,

PhysicalObjects ((p: Person), (c : Equipment))

Components ((p_close: PrimitiveState close_to(p, c))

(uc_open: PrimitiveState UpperCupboard_open(c)) )

Constraints ((p_close before_meet uc_open)))

29/09/2006 17

Description des événements multimodaux (vidéo – contact)

L’ensemble d’événements vidéo combinés avec des événements contact

Reconnaître des événements temporels complexes combinant des événements vidéo et contact

Synchronisation des événements vidéo et contact

29/09/2006 18

Description des événements multimodaux (vidéo – contact) (2) 3 événements composés: Using_food, Using_dishes et

Prepare_meal.

CompositeEvent (Using_dishes,

PhysicalObjects ( (p: Person), (UpperCupboard: Equipment), (Kitchen: Zone))

Components ((p_inz: PrimitiveState inside_zone (p, Kitchen))

(p_open_uc: PrimitiveEvent personOpen_UpperCupboard(p, UpperCupboard))

(p_close_uc: PrimitiveEvent personClose_UpperCupboard(p, UpperCupboard)) )

Constraints ((p_inz before_meet p_open_uc)

(p_open_uc Duration > 10)

(p_open_uc before_meet p_close_uc) ))

29/09/2006 19

Résultats et évaluation

Expérimentation : GERHOME (Gerontology at Home) : labellisé en janvier 2006

par le pôle de compétitivité SCS (Solutions Communicantes Sécurisées).

Porteur : Centre Scientifique et Technique du Bâtiment (CSTB) à Sophia Antipolis.

Solutions techniques d’aide au maintien à domicile des personnes âgées,

Autonomie, confort de vie, sécurité, surveillance et assistance à domicile.

29/09/2006 20

GERHOME

Schéma d’implantation des capteurs dans Gerhome

30 capteurs:

• 6 capteurs de pression (chaises, lit, etc.)

• 8 capteurs de contact (portes et fenêtres)

• 10 capteurs de contact (tiroir, frigidaire, etc.)

• 4 capteur de lumière

• 2 débitmètre

29/09/2006 21

Résultats et évaluation (2)

Localisation continue de la personne par la vidéo

Activités quotidiennes de la personne (utilisation des tiroirs de cuisine, de la vaisselle, etc.) par les capteurs de contact

29/09/2006 22

Résultats et évaluation (3)

Événement TP(%)

FP(%)

FN(%)

Précision Sensitivité

Inside zone

Open cupboard

Close cupboard

Using food

Using dishes

100

98

98

94

94

0

0

0

4

4

0

2

2

2

2

1

1

1

0,959

0,959

1

0,98

0,98

0,979

0,979

FPTP

TPecision

Pr

TPFN

TPySensitivit

Résultats de la reconnaissance des événements Vidéo & contact

29/09/2006 23

Conclusion Combinaison d’informations issues de capteur vidéo et de capteur de contact

Reconnaissance de scénarios prédéfinis en utilisant des capteurs vidéo et des capteurs de contact

Haute priorité du travail à venir :

prévenir la chute des personnes (capteurs de chute (système TRIDENT)),

Paramètres physiologiques d’une personne (capteurs physiologiques (capteur de pouls))

Validation en situation réelle (hôpital, résidences, etc) en se basant sur la fusion et le traitement de données multicapteurs.