Prsentation PowerPoint

Technologies Cognitives au service des expriences utilisateursJean-Sebastien DUPUYEvangeliste - MICROSOFTJean-Philippe ENCAUSSEExpert IoT & NUI, VISEO

partie 1 MS Cognitive Services

Applications mobiles et sites web Assistants personnel // Reconnaissance VocaleSite Web Scenario de moderation.

3

Google Home // Amazon Echo4

Emergence des bots // 90% du temps pass sur un smartphone aujourdhui est utilis pour accder aux rseaux sociaux et communiquer (IM). Depuis quelques mois lutilisation des IM est plus importante que les rseaux sociaux.

5

pourquoi maintenant ?6

+1bn62m100m300m1bn

Hi. I am Cortana.

7

Bots represent a new channel for businessesReach customers anywhere, on any platform or device Engage with customers in a natural way; conversationally and in contextExpose and monetize your products & services in messaging platformsImprove customer experience and reduce the need for human assistance

Data and device price declineEngaging chat + content + services

5x growth over next 3 yearsYoung demographicHigher retention & usage than appsOpportunity for 1:1 connection

Monthly users of messaging apps surpassedSocial apps a year ago

Microsoft Corporation. All rights reserved. 12/12/2016 11:28 PM8

Votre bot(Cr avec BotBuilder)SalutBot ConnectorBot FrameworkMail / SMS

Skype

Telegram

FacebookMessenger

Slack

Rendre votre bot intelligent

Cognitive Services

Roll your own with REST APIsSimple to add: just a few lines of code requiredIntegrate into the language and platform of your choiceBreadth of offerings helps you find the right API for your appBuilt by experts in their field from Microsoft Research, Bing, and Azure Machine LearningQuality documentation, sample code, and community supportEasyFlexibleTestedWhy Microsoft Cognitive Services?

GET A KEY

BUILD

Why choose these APIs? They work, and its easy.

Easy: The APIs are easy to implement because of the simple REST calls. Being REST APIs, theres a common way to implement and you can get started with all of them for free simply by going to one place, one website, www.microsoft.com/cognitive. (You dont have to hunt around to different places.)

Flexible: Weve got a breadth of intelligence and knowledge APIs so developers will be able to find what intelligence feature they need; and importantly, they all work on whatever language, framework, or platform developers choose. So, devs can integrated into their appsiOS, Android, Windowsusing their own tools they know and love (such as python or node.js, etc.).

Tested: Tap into an ever-growing collection of powerful AI algorithms developed by experts. Developers can trust the quality and expertise build into each API by experts in their field from Microsofts Research organization, Bing, and Azure machine learning and these capabilities are used across many Microsoft first party products such as Cortana, Bing and Skype.

Microsoft Build 2016 2016 Microsoft Corporation. All rights reserved. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.12/12/2016 11:28 PM11

Focus Cognitive Services

Emotion

Speaker Recognition

Speech

Custom Recognition

Computer Vision

Face

Video

microsoft.com/cognitive

Search

Speech

Language

Knowledge

Vision

Linguistic Analysis

Language Understanding

Bing Spell Check

Entity Linking

Knowledge Exploration

Academic Knowledge

Bing Image Search

Bing Video Search

Bing Web Search

WebLM

Text Analytics Recommendations

Bing Autosuggest

Bing News Search

Translator

13

Cortana Intelligence SuiteAction

PeopleAutomated Systems

Apps

WebMobileBots

IntelligenceDashboards & VisualizationsCortana

Bot FrameworkCognitive Services

Power BI

Information ManagementEvent HubsData Catalog

Data Factory

Machine Learning and AnalyticsHDInsight (Hadoop and Spark)Stream AnalyticsIntelligenceData Lake Analytics

Machine Learning

Big Data StoresSQL Data WarehouseData Lake Store

Data SourcesAppsSensors and devicesData

http://www.microsoft.com/en-us/server-cloud/cortana-intelligence-suite

14

dmoHello Bot

partie 2 UNE HISTOIRE DAMOUR

1964 E.L.I.Z.A.1995 A.L.I.C.E.2006 Nabaztag2010 WATSON (IBM)2011 SIRI (Apple)2011 Google Now2012 S.A.R.A.H.2013 ALEXA (Amazon)2014 CORTANA (Microsoft)Everything is about Timing

En fait depuis 50ans les informaticiens rvent de discuter avec une intelligence artificielle.

17

Toucher le monde physique

Souvenez vous de Wargame dans lequel JOSHUA attaquait les API de larme amricaine.

Cest la premire function du bot, avoir le sens du toucher pour interragir avec le monde physique 18

Exprience sans frictions

Mais pour avoir vritablement un interaction il faut changer via du texte, ce nest pas trs naturel, ou via de la reconnaissance vocale.

Cest le dclic que jai eu en 2012 quand je me suis rendu compte dune part que le Kinect tait un microphone capable de mcouter 10 mtresEt dautres part que Windows proposait depuis des annes une fonctionnailit de reconnaissance de commandes vocales19

SelfActuated Residential Automated Habitat

Et cest ainsi quest n un petit framework qui sappel SARAH dont Vincent parlait lanne dernire au NUI Days.

Son objectif est justement dassembler toutes ces API afin de consolider un cerveau et comprendre comment nous pouvons interragir avec les objets.

Pour faire simple voici une peite demo qui date de 201220

21

Ergonomie et Conversational UI

Jai eu de nombreux retours super intressants de la communaut.

En faisant disparaitre lcran lexperience utilsiateur est encore plus importante.

Les enfants sont super ractifs, et plusieurs parents me disent que leurs enfants parlent SARAH comme un elfe de maison imaginaire, elle fait partie de la famille !

22

Le test du turing

A lpoque je me souviens dun camioneur geek qui me racontais embarquer SARAH dans son camion. Il captait les sporadiquement le rseau sur la route et fonctionnait en autonomie.

Sa femme, a moiti sur leton de lhumour tait jalousie quil parte sur les routes avec SARAH.

Le rsultat est fantastique, car la communaut me remonte de nombreuses annecdotes- Peux-on changer la voix, jaimerai JARVIS dIronMan !Mes enfants parle SARAH comme un Elfe de MaisonJtais chez mes beaux parents et SARAH ntait pas l pour nous rveiller le matinSARAH fait maintenat partie de la famille, peut-on la connecter au carnet de correspondace, pour quelle aide faire les devoirs,

Le rsultat est fantastique, car la communaut me remonte de nombreuses annecdotes- Peux-on changer la voix, jaimerai JARVIS dIronMan !Mes enfants parle SARAH comme un Elfe de MaisonJtais chez mes beaux parents et SARAH ntait pas l pour nous rveiller le matinSARAH fait maintenat partie de la famille, peut-on la connecter au carnet de correspondace, pour quelle aide faire les devoirs,

23

Limportance du Nom

Le nom du nom,SARAH encore une femme ?Peut-on la renommer en JARVIS ?Ah mais il faut trouver une voix masculine !24

Limportance de lapparence

Lapparence est aussi trs important, quelle soit matrialis par un objet, ou un cranMon point de vu est quon perds de limaginaire25

Le sens de la vue !

Enfin le Kinect est une camera 3D ce qui signifie que lagent peut faire de la reconnaissance Gestuelle, Faciale, le QRCode dObjets !26

Une question dergonomie !

Le problme de NEST

27

partie 3 LE CONVERSATIONAL UI

Agent ConversationnelsClient de Messagerie

Outils et Frameworks Analyse du langage naturel (NLP)

Ecosystme

Des commandes vocales lIACustomer decision journey

CONSIDEREVALUATEBUYCARE

Acquisition, communiquer sur un lancement de produit, tester lapptenceFaire un devis, faire une recherche de produit/service/htel/trainSe faire conseiller, coacherRserver un htel ou un vol Commander un repasFaire livrer des fleurs

Donner des informations, humaniser une FAQ,Suivi de livraison, SAV, rclamation

Une nouvelle manire de concevoir des services

DE NOUVEAUX MTIERSInteraction & Conversation Designer, Virtual Assistant Assistant, Messaging App API Developers, Semantic Experts, scnaristes, Chatbotmaster UN CYCLE ITERACTIF INFINILa conception dun bot ne sarrte jamais. Lanalyse des usages amne amliorer en permanence le bot (cas, rsultats, expriences, personnalit)PAR QUOI JE COMMENCE ?# 1 De quelles donnes ai-je besoin ?# 2 Comment je les obtiens ?# 3 Script des conversationsUNE AUTRE FACON DE SYMBOLISER LESPRIT DUNE MARQUEPersonnalit, niveau de langage, style, ton La faon de communiquer du bot est reprsentative de la marque (vs le design graphique aujourdhui)

Node-RED: Un Framework OpenSource dIBM

Node-RED: Un Framework OpenSource dIBM

Node-RED: Magasin Connect

Node-RED: TV Connecte

partie 4 Dans lavenir ?

Avenir: Bot, VR, AR, ?

partie 4 ONE MORE THING !

OpenSource !

MERCI !Des Questions ?Jean-Sebastien DUPUYEvangeliste - MICROSOFTJean-Philippe ENCAUSSEExpert IoT & NUI, VISEO