Microsoft Virtual Academydownload.microsoft.com/download/A/F/E/AFEAF910-F360-4129...Un jeu d’apiuniforme pour des applications Xbox,Windows Store, et de Bureau Publication d’applicationdans

Microsoft Virtual Academy

@EricVernie

http://aka-ms/fierdetredev

http://fierdetredeveloppeur.org/

http://blogs.msdn.com/devpara

Thomas Ouvré

http://blogs.infinitesquare.com/b/touvre

Microsoft Virtual AcademyIntroduction à la Kinect V2


Nouveautés du KinectV2 pour Windows

Disponible à l’achat

http://aka.ms/k4wv2purchase

Disponibilité du Kit de développement

http://aka.ms/k4wv2sdk

Un jeu d’api uniforme pour des applications Xbox, Windows Store, et de Bureau

Publicationd’application dans le Windows Store

Création d’application de bureau et support de WPF

Ouverture Plugin Unity pour applications de bureau et du Windows Store

http://aka.ms/k4wv2purchase

http://aka.ms/k4wv2sdk


Vue d’ensembleKinect V2


Configuration requise : http://aka.ms/k4wvhwsetup

CPU -> i7 (recommandé)

RAM -> 4GB (recommandé)

GPU -> DirectX 11 (requis)

USB 3.0 -> Intel ou Renesas chipsets (requis)

OS -> Windows 8.0/8.1 (requis)

Outil de vérification de la configuration


Sources de données de la Kinect V2

Color IR Depth

Index Body Audio


DEMO


Spécifications techniques

Camera Couleur :

1920x1080 30 Hz

(15 Hz lumiere basse)

Réalité augmentée

Emmetteur Infra-Rouge :

512x424 30 Hz

Vision nocturne

Vue indépendante de la luminosité

Suivi du visage

2,000-points mesh

Capture audio :

4-mic array returning 48K Hz audio

Supportd’applications Multiples simultanément

4,5m

H:70°

V:60°

Capteur de profondeur : 512x424 30 Hz

Visualisation 3D

Suivi de squelette : 6

25 jointures par personnes

Suivi des mains, Ouverte/Fermée/Lasso


Composants

Microphones

Caméra Couleur

Capteur de profondeur

Indicateur de mise

sous tension

Emmetteur IR


Composants

Caméra couleur

Capteur de profondeur

Emmetteur IR


Langages & Outils

.NET APIs

Native APIs

WinRT API

Kinect Fusion

Kinect Studio

Visual Gesture Builder Physical Kinect Sensor

Kinect Drivers

Kinect Runtime

Native API .NET API WinRT API

Native Apps .NET AppsWindows

Store Apps


DéveloppementKinect V2


SDK Browser


Capture des sources de données


Etapes d’une capture d’une source de données

Obtenir une instance du capteur

Vérifiez sa disponibilité

Ouvrir le capteur

Choisir une source de données

Ouvrir un FrameReader

S’abonner lorsqu’une Frame arrive

Afficher la Frame


La classe KinectSensor

Représente un capteur physique

Toujours valide

• this.sensor = KinectSensor.GetDefault();this.sensor.Open();//….this.sensor.Close();

sensor = kinect.KinectSensor.getDefault();sensor.open();// …

sensor.close();


Sources de données

Expose des méta-données de la source et donne accès aux « Readers »

Le capteur expose une source par type de données

MultiFrameSource (Ouverture de plusieurs sources simultanément)


Readers

Donnent accès aux frames

Events

Pooling

Plusieurs readers peuvent être crées sur une simple source

On peut les mettre en pause


Utilisation de l’API

Ouvrir un Reader

Gestion des évènements

using (var reader = sensor.BodyFrameSource.OpenReader()){

//...}

reader.FrameArrived += ReaderOnFrameArrived;void ReaderOnFrameArrived(object sender, BodyFrameArrivedEventArgs args){

//...}


Utilisation de l’API

Obtenir une frame

Frame

Data

Metadata

using (var frame = args.FrameReference.AcquireFrame()){

if (frame == null) return;//...

}


Source de données : ColorFrameSource

Tableau de pixels : 1920 x 1080

Couleur

Normal : 30 fps

Luminosité faible : 15 fps


Source de données : InfraredFrameSource


16 bit IR (intensité)

30 fps

Indépendant de la luminosité


Source de données : DepthFrameSource


16 bit distance (millimètre)

0.5 – 8 mètres


Source de données : BodyFrame

Reconnaissance du squelette

25 jointures : position 3D

30 fps

Etats de la main (2 corps)

0.5 – 4,5 mètres


Source de données : BodyIndex


8 bit

0.5 – 8 mètres


JumpStart MVA : http://aka.ms/mvak4wv2


Kinect Studio


Visual Gesture Builder


Exercices : C# / WPF

Capture de la source de données Color

Capture de la profondeur

Capture de l’infrarouge

Capture du squelette ainsi que suivi du Visage

Utilisation des outils

Kinect Studio

Visual Gesture Builder

Et d’autres….


Exercices Capture des sources de données


Etapes d’une capture d’une source de données

Obtenir le capteur

Vérifiez sa disponibilité

Ouvrir le capteur

Choisir une source de données

Ouvrir un FrameReader

S’abonner lorsqu’une Frame arrive*

Afficher la Frame


EXERCICE

Capture de la caméra Couleur (ColorFrameSource)


EXERCICE

Capture de la profondeur (DepthFrameSource)


EXERCICE

Capture infrarouge (InfraredFrameSource)


EXERCICE

Capture infrarouge (BodyIndexFrameSource)


EXERCICE

Reconnaissance du squelette (BodyFrameSource)

6 Corps

25 jointures

Etats de la main (2 corps): Ouverte/Fermée/Lasso

0.5 – 4,5 mètres


EXERCICE

Capture du visage (FaceFrameSource)


EXERCICE

Gestuelle - La main comme interface de pointage !!

La main comme pointeur !!

Engagement Cible

Press

Panning/Zoom

Cursors


EXERCICE

Kinect Studio


EXERCICE

Construire des « gestures »

Documents

Microsoft Virtual Academydownload.microsoft.com/download/A/F/E/AFEAF910-F360-4129...Un jeu d’apiuniforme pour des applications Xbox,Windows Store, et de Bureau Publication d’applicationdans