Microsoft Virtual Academydownload.microsoft.com/download/A/F/E/AFEAF910-F360-4129...Un jeu...

Microsoft Virtual Academy

@EricVernie

http://aka-ms/fierdetredev

http://fierdetredeveloppeur.org/

http://blogs.msdn.com/devpara

Thomas Ouvré

http://blogs.infinitesquare.com/b/touvre

Microsoft Virtual AcademyIntroduction à la Kinect V2

Microsoft Virtual Academy

Nouveautés du KinectV2 pour Windows

Disponible à l’achat

http://aka.ms/k4wv2purchase

Disponibilité du Kit de développement

http://aka.ms/k4wv2sdk

Un jeu d’api uniforme pour des applications Xbox, Windows Store, et de Bureau

Publicationd’application dans le Windows Store

Création d’application de bureau et support de WPF

Ouverture Plugin Unity pour applications de bureau et du Windows Store

Microsoft Virtual Academy

Vue d’ensembleKinect V2

Microsoft Virtual Academy

Configuration requise : http://aka.ms/k4wvhwsetup

CPU -> i7 (recommandé)

RAM -> 4GB (recommandé)

GPU -> DirectX 11 (requis)

USB 3.0 -> Intel ou Renesas chipsets (requis)

OS -> Windows 8.0/8.1 (requis)

Outil de vérification de la configuration

Microsoft Virtual Academy

Sources de données de la Kinect V2

Color IR Depth

Index Body Audio

Microsoft Virtual Academy

DEMO

Microsoft Virtual Academy

Spécifications techniques

Camera Couleur :

1920x1080 30 Hz

(15 Hz lumiere basse)

Réalité augmentée

Emmetteur Infra-Rouge :

512x424 30 Hz

Vision nocturne

Vue indépendante de la luminosité

Suivi du visage

2,000-points mesh

Capture audio :

4-mic array returning 48K Hz audio

Supportd’applications Multiples simultanément

4,5m

H:70°

V:60°

Capteur de profondeur : 512x424 30 Hz

Visualisation 3D

Suivi de squelette : 6

25 jointures par personnes

Suivi des mains, Ouverte/Fermée/Lasso

Microsoft Virtual Academy

Composants

Microphones

Caméra Couleur

Capteur de profondeur

Indicateur de mise

sous tension

Emmetteur IR

Microsoft Virtual Academy

Composants

Caméra couleur

Capteur de profondeur

Emmetteur IR

Microsoft Virtual Academy

Langages & Outils

.NET APIs

Native APIs

WinRT API

Kinect Fusion

Kinect Studio

Visual Gesture Builder Physical Kinect Sensor

Kinect Drivers

Kinect Runtime

Native API .NET API WinRT API

Native Apps .NET AppsWindows

Store Apps

Microsoft Virtual Academy

DéveloppementKinect V2

Microsoft Virtual Academy

SDK Browser

Microsoft Virtual Academy

Capture des sources de données

Microsoft Virtual Academy

Etapes d’une capture d’une source de données

Obtenir une instance du capteur

Vérifiez sa disponibilité

Ouvrir le capteur

Choisir une source de données

Ouvrir un FrameReader

S’abonner lorsqu’une Frame arrive

Afficher la Frame

Microsoft Virtual Academy

La classe KinectSensor

Représente un capteur physique

Toujours valide

• this.sensor = KinectSensor.GetDefault();this.sensor.Open();//….this.sensor.Close();

sensor = kinect.KinectSensor.getDefault();sensor.open();// …

sensor.close();

Microsoft Virtual Academy

Sources de données

Expose des méta-données de la source et donne accès aux « Readers »

Le capteur expose une source par type de données

MultiFrameSource (Ouverture de plusieurs sources simultanément)

Microsoft Virtual Academy

Readers

Donnent accès aux frames

Events

Pooling

Plusieurs readers peuvent être crées sur une simple source

On peut les mettre en pause

Microsoft Virtual Academy

Utilisation de l’API

Ouvrir un Reader

Gestion des évènements

using (var reader = sensor.BodyFrameSource.OpenReader()){

//...}

reader.FrameArrived += ReaderOnFrameArrived;void ReaderOnFrameArrived(object sender, BodyFrameArrivedEventArgs args){

//...}

Microsoft Virtual Academy

Utilisation de l’API

Obtenir une frame

Frame

Data

Metadata

using (var frame = args.FrameReference.AcquireFrame()){

if (frame == null) return;//...

}

Microsoft Virtual Academy

Source de données : ColorFrameSource

Tableau de pixels : 1920 x 1080

Couleur

Normal : 30 fps

Luminosité faible : 15 fps

Microsoft Virtual Academy

Source de données : InfraredFrameSource

Tableau de pixels : 512 x 424

16 bit IR (intensité)

30 fps

Indépendant de la luminosité

Microsoft Virtual Academy

Source de données : DepthFrameSource

Tableau de pixels : 512 x 424

16 bit distance (millimètre)

0.5 – 8 mètres

Microsoft Virtual Academy

Source de données : BodyFrame

Reconnaissance du squelette

25 jointures : position 3D

30 fps

Etats de la main (2 corps)

0.5 – 4,5 mètres

Microsoft Virtual Academy

Source de données : BodyIndex

Tableau de pixels : 512 x 424

8 bit

0.5 – 8 mètres

Microsoft Virtual Academy

JumpStart MVA : http://aka.ms/mvak4wv2

Microsoft Virtual Academy

Kinect Studio

Microsoft Virtual Academy

Visual Gesture Builder

Microsoft Virtual Academy

Exercices : C# / WPF

Capture de la source de données Color

Capture de la profondeur

Capture de l’infrarouge

Capture du squelette ainsi que suivi du Visage

Utilisation des outils

Kinect Studio

Visual Gesture Builder

Et d’autres….

Microsoft Virtual Academy

Exercices Capture des sources de données

Microsoft Virtual Academy

Etapes d’une capture d’une source de données

Obtenir le capteur

Vérifiez sa disponibilité

Ouvrir le capteur

Choisir une source de données

Ouvrir un FrameReader

S’abonner lorsqu’une Frame arrive*

Afficher la Frame

Microsoft Virtual Academy

EXERCICE

Capture de la caméra Couleur (ColorFrameSource)

Microsoft Virtual Academy

EXERCICE

Capture de la profondeur (DepthFrameSource)

Microsoft Virtual Academy

EXERCICE

Capture infrarouge (InfraredFrameSource)

Microsoft Virtual Academy

EXERCICE

Capture infrarouge (BodyIndexFrameSource)

Microsoft Virtual Academy

EXERCICE

Reconnaissance du squelette (BodyFrameSource)

6 Corps

25 jointures

Etats de la main (2 corps): Ouverte/Fermée/Lasso

0.5 – 4,5 mètres

Microsoft Virtual Academy

EXERCICE

Capture du visage (FaceFrameSource)

Microsoft Virtual Academy

EXERCICE

Gestuelle - La main comme interface de pointage !!

La main comme pointeur !!

Engagement Cible

Press

Panning/Zoom

Cursors

Microsoft Virtual Academy

EXERCICE

Kinect Studio

Microsoft Virtual Academy

EXERCICE

Construire des « gestures »