Utilisation de la kinect pour la détection de mouvements intempestifs dans une salle d’opération

UTILISATION DE LA KINECT POUR LA DÉTECTION DE MOUVEMENTS INTEMPESTIFS DANS

UNE SALLE D’OPÉRATION

Projet 2012 / 2013

Benoit Bernardin et Paul MeyerEncadrement : Jean-Christophe Lapayre

LE CONTEXTE / L’OBJECTIF Pouvoir détecter des mouvements

intempestifs afin de prévenir des maladies nosocomiales.

ZONE DE TRAVAIL

ENTREE

BLOC OPERATOIRE

KINECT

Suscite de nombreuses interrogations par rapport à la configuration d’un bloc et des caractéristiques du matériel.

La Kinect Caractéristiques et limites La Kinect et le bloc opératoire ?

L’application développée Description Démonstration Améliorations et questions

SOMMAIRE RAPIDE


L’application développée Description Démonstrations Améliorations et questions

SOMMAIRE RAPIDE

Présentation de la Kinect Origine : Périphérique destiné à la console de

jeux vidéo Xbox360 de Microsoft permettant de contrôler le jeu sans manette

Deux types de Kinect : Kinect pour la console Xbox360 de Microsoft (jeux vidéo +

développement)

Kinect pour Windows (développement)

Libre de développement aujourd’hui (gratuit)

Caractéristiques de la Kinect Capteur

Lentilles détectant la couleur et la profondeur de la scène

Micro à reconnaissance vocale (français disponible)

Capteur motorisé pour s’adapter à la scène (fonction limitée)

Vision de la scène (1)

Champ de vision 57° à l’horizontale 43° à la verticaleAvec inclinaisons possibles de +27°/-27° en vertical grâce au moteur

Portée du capteur : deux modesEn mètres

INCONNUTROP PRESTROP LOINVALEURS NORMALES

MODE PAR DEFAUT

MODE RAPPROCHE

KINECT

En pratique : de 1.2 à 3.5

En pratique : de 0.8 à 2.5

Vision de la scène (2)

EN METRE

S

MODE PAR DEFAUT

MODE RAPPROC

HE

Le mode fait varié le champ de vision La Kinect gère un espace 3D

X = A gauche ou à droite Y = En haut ou en bas Z = Près ou loin

Reconnaissance physique

6 personnes au maximum Postures assis et debout

A NOTER

6 Personnes = 6 Squelettes2 Personnes suivies totalement = 2 Squelettes trackés

4 Personnes suivies partiellement = 4 Squelettes non-trackés

NON-TRACKÉE

STRACKÉE

S

Squelette tracké Chaque point est

appelé « joint » et possède une position en X, Y et Z.

20 joints pour un squelette tracké

Le joint « HIP_CENTER » détermine la position globale du squelette

Récupération des informations Flux de données entre la Kinect (émettrice)

et l’ordinateur (récepteur)

La Kinect envoie 30 images par seconde de la scène qu’elle détecte

Une image est composée de : 6 squelettes avec leur identifiant La position globale de chacun des 6 squelettes Toutes les positions des 20 joints des 2 squelettes trackés Et encore beaucoup d’informations…

= Une quantité très importante de données !


L’application développée Description Démonstrations Améliorations et questions

SOMMAIRE RAPIDE

L’application développée

Son rôle est actuellement de :

DETECTER DES MOUVEMENTSET LES INTERPRETER POUR AFFICHER

UN NIVEAU D’ALERTE

Comment ?

KINECT

Envoi la position globale des squelettes

TABLEAU DE SQUELETTES

(avec leur position)

ORDINATEUR

123456

30 fois par seconde

UNE TABLE DE SAUVEGARDE

DES POSITIONS

PAR SQUELETTE

12

34

56

Je sauvegarde la position reçue

(X,Y,Z) de chaque squelette

-Toutes les 30 sauvegardes (donc chaque seconde), je calcule l’écart-type des 30 valeurs en X et en Z et pour chaque squelette

- J’interprète l’écart-type pour savoir si un squelette BOUGE ou non.

- Je supprime toutes les valeurs pour recevoir le 2e échantillon de valeurs

Pas d’écart-type en Y(sauter ou s’agenouiller dans un bloc ?)

Règles d’interprétation Pour un squelette, on sait s’il bouge ou non Pour plusieurs squelettes (mouvement général) :

NIVEAU 1 Aucun squelette détecté Les squelettes détectés ne bougent pas (immobiles)

NIVEAU 2 Moins de la moitié des squelettes bougent Les autres sont immobiles

NIVEAU 3 Tout le monde ou la majorité bouge

Règles modifiables et ajustables selon les besoins

Démonstration

Performances Chaque seconde (en traitement de fond)

Réception de 30 positions X, Y et Z pour les 6 squelettes

Calcul de l’écart-type en X, en Y et en Z Très couteux : multiplications, divisions et racine-

carrée Interprétations des valeurs

Sans compter le démarrage, l’affichage de l’interface graphique…

1 2 3 4 5

Etapes du programme avec un seul squelette1 : Le programme n’est pas lancé2 : Le programme se lance3 : Un squelette est détecté mais ne bouge pas

- Les « écart-type » sont calculés mais varient très peu (25%)4 : Le squelette bouge beaucoup

- Les « écart-type » varient beaucoup et le programme tourne à +50%5 : Le programme est arrêté

1

2

3

4

5



Projet 2012 / 2013


AMELIORATIONSBESOINS - QUESTIONS ?

Questions diverses

Y a-t-il besoin de tous les flux de données ?

Flux « profondeur » et « squelettes » obligatoires

« Couleur » facultatif ?Permet de visualiserla scène comme la Kinect : la suppression entrainerait juste l’affichage des squelettes

Quel mode utilisé ? Pour rappel :

A noter que le mode utilisé fait varié forcément l’angle de vision

Un mode convient-il mieux pour un bloc opératoire ou doit-on donner la possibilité de modifier le mode dynamiquement ? (entraine le redémarrage de l’application)

INCONNUTROP PRESTROP LOINVALEURS NORMALES

MODE PAR DEFAUT

MODE RAPPROCHE

Repères Les coordonnées X, Y et Z d’un squelette

sont-elles toutes nécessaires ?

X : Droite ou gauche Y : Haut ou bas (sauter, s’agenouiller, s’asseoir)

Z : Loin ou près (profondeur)

Tracké ou non ? Doit-on juste connaitre la position

globale de chaque squelette et savoir s’ils bougent ? (comme actuellement)

Ou détailler les mouvements de bras, de jambes… ? (quand on peut : 2 squelettes max)

Règles d’interprétation à modifier ?

Pour un squelette, on sait s’il bouge ou non Pour plusieurs squelettes (mouvement

général) : NIVEAU 1

Aucun squelette détecté Les squelettes détectés ne bougent pas (immobiles)

NIVEAU 2 Moins de la moitié des squelettes bougent Les autres sont immobiles

NIVEAU 3 Tout le monde ou la majorité bouge



Projet 2012 / 2013


Documents

Utilisation de la kinect pour la détection de mouvements intempestifs dans une salle d’opération