Prsentation PowerPoint
EXPRIENCES GESTUELLESNicolas CalviMVP Emerging Experiences,
Consultant, Expert Technologies NUI ExpertimeXavier
HalladeDeveloper EvangelistIntel Corporation
Ulysse SemdCEONaturSoftware
partie 1 Interface gestuelle
Quest-ce quune interface gestuelle ?Le priphrique reconnais ma
tension musculaireIl dtecte le mouvement de mes jambesMon visage en
dit longDu bout des doigts sans rien toucher
Se pilote avec son corpsSans contact avec un support.La dtection
peut-tre local ou globale.A contrario le Tactile demande un
contact, gestuelle limit au contact ou mouvement de deux
doigts.
3
Les avantagesPas de contactDiversit des gestesMicro gestion de
certaines parties du corpsEngagement fort dans lexprienceExprience
immersive
Pas de contact.Si tout le corps on peut imaginer des gestuelles
plus complexes.Lengagement est fort car les gestuelles accapare
notre attention et demande dtre concentr pour corriger ses
mouvements.Linterface peut tre entirement li a notre corps (par ex
Kinect), ce qui augmente notre sentiment dinteraction avec
linterface.On croit que linterface est dans le rel, dans le cas
dHololens la ralit est en lien directe avec ses gestes.4
Les inconvnientsFatiguantEnvahissant quant il sagit du corps
completTimide sabstenir pour navoir pas peur du ridiculeLes
gestuelles complexe a dterminerParfois difficile de faire la bonne
gestuelle pour lutilisateur
Ce type dinterface est limit par les possibilits de mouvement de
chaque personne (quid des personnes a mobilit rduite)Si gestuelle
trop complexe, souvent chec des utilisateurs a faire ce qui est
demand.Mais dans le mme temps solutionne ces problme de mobilit
(exemple Eye Tracking)Si dans un lieu publique, expose les
utilisateurs au regard des autres par leurs gestes et leur
posture.Gestuelle difficile a programmer, souvent besoin dune
machine learning.Intimidant pour certaines personnes.
5
A chaque priphrique son usage
Kinect / RealSense / Astra / Persee
Myo
Leap Motion
Bien prendre le temps de savoir quel technologie pour quel
usage.Bien connaitre aussi les limitations de chaque device.6
partie 2 Kinect 2
Camra Couleur 1920x1080 @ 30 IPS (16:9)1920x1080 @ 15 IPS (16:9)
en lumire basseCamra de profondeur 512x424 @ 30 IPSSquelette Jusqu
6 squelette complet en mme temps25 points de jointure pour le
corpsDtection de la main (en 3 points) pour 2 squelettesDtection de
la rotation des jointuresMicrophones4 microphones
directionnelsRduction du bruit ambiantVisageDtection dun visage27
points de jointureDtection des expressionsOn modle un visage sur
1367 verticesDveloppementMicrosoft .NET Unity 3DApp Windows
8.1OutilsSDK document et ressources en ligneKinect StudioKinect
Fusion
9
partie 3 Orbbec Astra & Persee
Zone de capture 0.4m - 8mTrs bonne prcision Mesure de profondeur
avec une prcision de 0,5 cm une distance de 2 mtresHaute resolution
Dgrads plus homognes et la capacit de filtrer les pixels de
profondeur de faible de qualit d'une faon prcise via un algorithme
propritaire.Faible latence Cest la plus rapide du marchOrbbec Astra
Pro
Orbbec Persee est la premire camra-ordinateur de son genre sur
le march. Cest une camra Astra Pro avec un ordinateur intgr sous
une distribution Linux spcifique :
Un quad-core 1.8 GHz ARM CPU600 MHz GPU avec le support
OpenCLWi-Fi et Ethernet2 GB DDR3 RAM16 GB eMMC Flash intgrOrbbec
Persee
Existe en format intgrable !Plus dinformation sur
http://www.orbbec.com/
partie 4
Cameras RealSense
devkitsclick.intel.comProduitsgrands-publicsFront-facing
(F200/SR300)Rear-facing (R200)
intel.com/RealSense/devices
Min requirements15
World FacingIntel RealSense SDK ModulesScene
PerceptionEnhancedPhotographyAugmented RealityPerson & Face
TrackingGesture RecognitionBackground RemovalObject Recognition and
TrackingSpeech Recognition3D Object ScanningHand & Blob
TrackingUser Facing
We focus on user facing cameras
16
Intel RealSense SDK Architecture*
Your Application HERE- C++Alphas:+ UWP modules:Streams,
Blobs
+Windows.Devices.PerceptionIR-only for now
17
Typical Flow of Intel RealSense Application
Create SenseManager
Enable Module(s)
Configure Module(s)
Create Module(s) Output Data Object(s)
Procedural orEvent BasedImplementationRelease Resources
18
User Facing Technologies
CapabilitiesFeaturesFingers Tracking / Gesture RecognitionBlob
trackingCursor Mode22-point Hand and Finger TrackingPoses and
Dynamic Gestures
Face TrackingFace RecognitionMultiple Face Detection and
tracking78-point Face LandmarksFacial ExpressionsFace
RecognitionPulse EstimatorSpeech RecognitionVoice SynthesisCommand
and ControlDictationText to SpeechSegmentation3D ScanningAugmented
RealityBackground Segmentation3D Object / Face / Room Scanning2D/3D
Object Tracking
19
RealSense 3D Hands Tracking
FullExtremitiesCursor (SR300 only)
CapabilitiesCamera F200Camera SR300Camera R200RGB
stream1080p/30fps1080p/30fps1080p/30fpsDepth
stream640x480/60fps640x480/60fps628x468/60fpsDepth
range0.2-1.2m0.2-1.2m0.7-4.0m+Blob
Tracking20-85cm20-150cm50-300cmHand
Segmentation20-80cm(1m/s)20-110cm(1.5m/s)NAHand
Tracking/Gestures20-60cm(0.75m/s)20-85cm(1m/s)NACursor
ModeNA20-110cmNAPerson TrackingNA50-200cm100-250cmDevices
integrationLaptops/AIOLaptops/AIO/peripheralPhablets/tabletsdetachables
3.Assume a minimum palm size of 5.5 cm, about a fix-year old kid
palm size. Interaction speed limitation is noted in parentheses.
The segmentation assumes 60fps 640x240. The tracking and gesture
assume 45fps 640x480 or 640x320.
Coded light vs stereoscopy21
partie 5 Retour dexprience
NATURSOFTWARE
Redmine
OUTILS DE COLLABORATION EN ENTREPRISE
NATURSOFTWARE
NATURSOFTWARE
NATURSOFTWAREMOYENS DE COMMUNICATION NATURELS HUMAINS
VoixToucherMouvements & gestuellesExpressions faciales
motionnelles
Pourquoi devrions nous communiquer diffremment avec nos outils
?
NATURSOFTWARE
NOTRE CONVICTION
Nous ne devrions pas nous adapter aux outils...Ce sont nos
outils qui devraient sadapter nous et notre manire naturelle de
communiquer
NATURSOFTWARE
NOTRE CONVICTION
NATURSOFTWARE
APERCU DES CAPTEURS QUE NOUS UTILISONS
NATURSOFTWARE
NATURCOLLABORATIONBas sur les NUI pour transformer la faon de
travailler
NATURSOFTWAREINTERACTIONS BASES SUR LES MOYENS DE COMMUNICATION
NATURELS
Reconnaissance vocaleReconnaissance Tactile
ReconnaissancesGestuellesReconnaissances faciale et
motionnelle
NATURSOFTWAREOffrir via les Interfaces utilisateurs Naturelles :
des outils collaboratifs centrs utilisateursune collaboration sur
les moyens naturels et intuitifs de communicationune exprience de
travail disruptive, digitale et fun , favorisant lmulation et
lengagementLe dveloppement de lenthousiasme, de la crativit et du
bien-tre des quipes
TRAVAILLEZ DE FAON NATURELLE ET INTUITIVE
NATURSOFTWARECONNECTIVITE AVEC LES ALM LES PLUS POPULAIRES
Redmine
NaturCollaboration
NATURSOFTWARE
NUI Framework -> 1 framework unique = 1 code unique =
utilisation multi-capteurs
Nui Framework
dmoNATURCOLLABORATION
EXPRIENCES GESTUELLESNicolas
Calvihttp://blog.nicolascalvi.com/@nicolascalviXavier Hallade
Ulysse Semd
37
