LIEU, DATE, NOM...

Intelligence Artificielle et Robots Sociaux

État des lieux et perspectives

Amélie Cordier - @amcordier hoomano.com

11 Mars 2019 - Conférence...

PLAN :PARTIE 1 :

Sous-partie 1Sous-partie 2

PARTIE 2 : Sous-partie 1Sous-partie 2

PARTIE 3 : Sous-partie 1Sous-partie 2

Partie 1

Contexte

Qui suis-je ?

Intelligence artificielle, apprentissage développemental, robotique, interactions Humains-Machines, sciences cognitives

Amélie Cordier

IngénieureINSA

Docteur de Lyon1

2004

2008

2012

2014

Université d’Auckland, NZ

Université de Laval, CA

2017 CSO Hoomano

2008-2016MCF LIRIS/LYON1

Présentation d’Hoomano

https://hoomano.com

À propos d’Hoomano

Fondée en 2014 par Xavier Basset et Cyril Maitrejean

Développement de solutions logicielles pour les dispositifs sociaux d’interaction

Investissement fort dans la recherche :

En robotique sociale

En intelligence artificielle et en apprentissage développemental

https://hoomano.com

Quelques chiffres

Lyon, France

Tokyo,Japan

Une équipe de recherche et un laboratoire commun

80 clients en 4 ans

Une équipe de 20 personnes (ingénieurs, développeurs, marketing, etc.)

Deux sites

https://hoomano.com

Exemples de domaines d’application

Welcoming & Guiding Welcomes visitors in a proactive wayProactive behaviour to engage non-attentive visitors

Education Attracts and keeps attentionBetter memorization of concepts

Elderly care Entertains and brings fun to occupantsCreates emotions and joy

Retail Customers loyaltyRise of the average basket

Tourism Improves tourists flow managementPromotes brand image with innovation

Security Gives security instructionsVisitor safety check log database

https://hoomano.com

Quelques clients

https://hoomano.com

La famille des robots sociaux

PepperSoftbank Robotics

NaoSoftbank Robotics

HeasyHease Robotics

BuddyBluefrog Robotics

SanbotQihan

JiboJibo

ZenboAsus

CozmoAnki

Où utilise-t-on de l’IA dans un robot social ?

Vision

Reconnaissance de la parole Synthèse vocale

Navigation

Détection d’émotions

Compréhension du langage et

génération de réponses

Vers des interactions plus naturelles

Fin du clavier, vers des interaction vocales

Intelligence émotionnelle, dimensions co-verbale et non verbale

Enjeux des interactions long terme et de la conversation naturelle

Quels enjeux pour la recherche en robotique sociale ? Vers des interactions plus naturelles

Apprendre avec des objets d’aujourd’hui comment nous voudrons interagir avec les IA de demain

Exemple : détection de l’attention de l’utilisateur

Exemples d’applications (jeux)

Exemples d’applications (attention)

Présentation du Labcom

Explorer l’apprentissage développemental pour améliorer les interactions Humains-Robots

LIRIS and Hoomano: two complementary approaches

LIRIS: computer science Lab.

SMA group: artificial intelligence and constructivist learning.

Hoomano: 3.5 years of experience in developing applications for social robots and experimentations with end-users.

DQN to adapt gestures to dialog content

Internship - Caroline Montassier - INSA Rouen

How to learn appropriate gestures (animations) as co-verbal information depending on a textual content?

- How to map “sentiment” and “gesture” without prior representation?- How to gather feedback from users on the mapping quality?- What are the other possible use-cases?

Multimodal learning with robotic data

Internship - Brice Denoun - INSA Lyon

How to use multimodal learning with robotic data to improve awareness of robots?

- How to choose the data to combine?- How to deal with poor quality of some data?- What are the possible use-cases?- What methodology to compare the architectures?

Modeling empathy with a focus on interaction

Ongoing PhD thesis:

Empathic Responses by Social-Robots in Human-Robot Interactions Using Developmental Learning

Experimentations in cognitive sciences:

How to measure the quality of an empathic response during a medium-term interaction - towards news tools inspired from psychology

Publication

Developmental Learning for Social Robots in Real-World Interactions. Alexandre Galdeano, Alix Gonnot, Clément Cottet, Salima Hassas, Mathieu Lefort, Amélie Cordier. Human Robot Interactions (HRI). 2018.

Qu’est-ce que l’intelligence artificielle ?

Quelques définitionsAI is the science of making machines do things that would require intelligence if done by men”. Marvin Minsky

Tant qu’on ne sait pas comment résoudre le problème, appelons cela de l’IA. Quand on aura une solution, on dira que c’est de la programmation.

Les systèmes d’IA sont des systèmes capables d’autonomie, d’adaptation et d’apprentissage, ce qui implique qu’ils perçoivent, décident et agissent, sur l’environnement (voire interagissent).

Cet animal est-il intelligent ?

Et moi ?

À quoi sert l’IA ?

Qu’est-ce qu’un robot ?

Quels sont les problèmes durs à résoudre ?

“Elle n’a pas pu mettre le chat dans le sac car il était trop grand !”

Intelligence Artificielle Générale vs. Intelligence Artificielle Spécifique (AGI / ANI)

Domaine pluridisciplinaire

Touche tous les métiers, avec des vocabulaires différents

Des divergence de points de vue

Reproduire des fonctions cognitives

Représentations symboliques

Raisonner, déduire

Émuler l’être humain

Un monde de contrastes

Résoudre efficacement un problème

Représentations numériques

Calculer, prédire

Augmenter l’être humain

Une brève histoire de l’IA

Histoire de l’IA

1950 202019701960 200019901980 2010

1996 - Deepblue

1956 - Dartmouth (McCarthy, Minsky, Simon, Newell, ...)

1957 - Le perceptron

1950 - Turing - Mind

2012 - Imagenet

2015 - AlphaGo

2011 - Watson

https://hoomano.com

Les différentes “époques” de l’IA

Emprunté à David Lavenda sur slideshare - https://www.slideshare.net/dlavenda/ai-and-productivity

https://hoomano.com

Aux origines des réseaux de neurones...

Emprunté à Yann Le Cun - https://www.youtube.com/watch?v=_1Cyyt-4-n8&list=WL&index=12&t=0s

De quelle “IA” parle-t-on aujourd’hui ?

https://hoomano.com

Un vocabulaire riche

Apprentissage machine (machine learning)

Apprentissage profond (deep learning)

Apprentissage supervisé (supervised learning)

Apprentissage par renforcement (reinforcement learning)

Apprentissage non supervisé (unsupervised learning)

Réseaux de neurones (neural networks)

Science des données (data science)

Deep Reinforcement Learning

Emprunté à Tim Elliot - https://timoelliott.com/blog/2016/10/a-shortcut-guide-to-machine-learning-and-ai-in-the-enterprise.html

https://hoomano.com

Les domaines de l’IA

Apprentissage machine

Robotique

Vision par ordinateur

Reconnaissance de la parole

Traduction automatique

Interactions en langage naturel

Systèmes cognitifs

Traitement automatique de la langue

Modélisation des connaissances

Systèmes multi-agents

Contraintes

Planification

Raisonnement

Réseaux bayésiens…

AI, A Modern Approach. Stuart Russell and Peter Norvig. 3rd Edition.

https://hoomano.com

Machine Learning vs. Data Science vs. AI

Graphic by NVidia

https://hoomano.com

Exemples

Applications : véhicules autonomes, traduction automatique, marketing, publicité en ligne, inspection visuelle de défauts, reconnaissance de la parole, filtres anti-spam, reproduction de la parole, génération de textes, génération d’images, animation de robots, deep fakes (animation réaliste de visages)

Domaines / secteurs : environnement, énergie, santé, ville intelligente, vente, transports, voyages, éducation, jeux, silver economy, loisirs, commerce, tourisme, BTP, comptabilité, services supports, télécommunications, sécurité, luxe et mode, automatisation, industrie, matériaux

Pourquoi une telle accélération ?1. Des succès visibles du grand public 2. Une convergence de facteurs 3. Des opportunités économiques4. Des enjeux sociétaux

https://hoomano.com

1. Quelques succès qui interpellent le grand public

https://hoomano.com

2. Une convergence de phénomènes

Données + Puissance de calcul + (Open source) + (Usages)

https://hoomano.com

D’où proviennent les données ?

https://www.weforum.org/agenda/2018/05/what-happens-in-an-internet-minute-in-2018

https://hoomano.com

3. Des opportunités économiques

Gain de temps

Réduction des coûts

Création de valeur

Augmentation des connaissances L’IA est la 4ème révolution industrielle !

https://hoomano.com

4. Des débats et des enjeux sociétaux

L’IA impacte nos vies et nos emplois (mais comment ?)

Les robots vont voler nos emplois (vraiment ?)

Les modèles de prise de décision changent, et la chaîne de décisions avec

Est-ce que c’est de l’IA ? Est-ce que ce n’en est pas ? (le continuum de l’IA)

Les biais en IA, la diversité, l’explicabilité

La géopolitique de l’IA

L’éthique des systèmes artificiellement intelligents

La propriété intellectuelle des contenus produits par l’IA

https://hoomano.com

À retenir

Les frontières de l’IA se déplacent en permanence

Certaines technologies issues des recherches en IA sont désormais des commodités

L’IA reste clairement une révolution technologique, qui a de nombreuses conséquences, en particulier sociétales...

Les écueils à éviter

https://hoomano.com

Les écueils usuels liés au déploiement de l’IA

J’ai des DATA, je peux faire de l’IA !

Le problème de la préparation et de la labellisation des données

Le problème classique du “Garbage in - Garbage out”

Les interactions entre les équipes IT et les équipes IA

La peur de manquer l’opportunité. Il FAUT faire de l’IA ! (Vraiment ?)

Partie 3

Exemples d’applications (catalogue)

https://hoomano.com

Reconnaissance de caractères

Le Cun - http://yann.lecun.com/exdb/lenet/a35.htmlGoogle AI - https://ai.googleblog.com/2019/03/rnn-based-handwriting-recognition-in.htmlCarter et al. - https://distill.pub/2016/handwriting/

https://hoomano.com

Recommendation de contenu

https://medium.com/@humansforai/recommendation-engines-e431b6b6b446Examples from Netflix, Spotify and Pocket

https://hoomano.com

(Parenthèse sur la vision)

Courtesy of Chris Owen - Cognite Venture - Vision and the Deep Learning Explosion - Stanford Talk - 13 oct 2017.

https://hoomano.com

Détection d’objets en temps réel

Redmond, Josep, Farhadi, Ali 2016

https://hoomano.com

Application aux véhicules autonomes

Zhao, Qi, Shen, Shi, Jia 2017

https://hoomano.com

Agriculture, développement durable

Deere and Blue River - 2016

https://hoomano.com

Reconnaissance faciale

Deep Dense - Facebook - 2015https://www.rt.com/news/368307-facial-recognition-criminal-china/

https://hoomano.com

Marketing

Courtesy of Lucas Nacsa - Neovision

https://hoomano.com

Chatbots et assistants conversationnels

https://newsroom.mastercard.com/press-releases/mastercard-makes-commerce-more-conversational-with-launch-of-chatbots-for-banks-and-merchants/

https://hoomano.com

Assistants vocaux

https://hoomano.com

Traduction automatique, en place

Google Translate - 2016.

https://hoomano.com

Traduction et contexte

Deep L - 2018

https://hoomano.com

Détection de fraude

https://www.technology.org/2013/08/08/foiling-financial-fraud/https://www.technologyreview.com/s/545631/how-paypal-boosts-security-with-artificial-intelligence/

https://hoomano.com

Annotation semi-automatique d’images

Under the hood: Building accessibility tools for the visually impaired on Facebook - 2018

https://hoomano.com

Robots sociaux

https://hoomano.com

Et même l’art !

Berenson https://deepdreamgenerator.com

Partie 4

Le futur de l’IA - opportunités et défis

https://hoomano.com

Tendances de recherche

Dans le domaine du Deep LearningGenerative Adversarial NetworksDeep Reinforcement Learning

Dans le domaine des interactionsVocalTraitement automatique de la langueTraductionInteractions long termeDépasser les questions de perception ( )

Pour l’industrialisation de l’IAEmbarquer le calcul Préparer les données

En rapport avec les donnéesSmall DataExplicationsSécuritéMonétisation des transactions (location de données)

https://hoomano.com

Défis et enjeux liés à l’intégration de l’IA

Comment intégrer plusieurs solutions d’IA au sein d’un système ?Briques d’IA et boîte à outilsIA as a Service

Comment faire accepter l’IA en interne et par les usagers ? Qualité des donnéesDisponibilité des donnéesBiaisExplicationCommunication des équipes IT et IAImpact de l’infrastructure

https://hoomano.com

Vers une boîte à outils pour l’IA

Comment intégrer plusieurs solutions d’IA ?

Défi de l’alignement des données ?

Principe de parcimonie sur la puissance de calcul

https://hoomano.com

Considérations écologiques et énergétiques

https://hoomano.com

Les données :nouveaux matériels et de nouveaux modèles

https://hoomano.com

Générations de données pour l’entraînement

Alhaija, Hassan Abu et al. “Augmented Reality Meets Computer Vision: Efficient Data Generation for Urban Driving Scenes.” International Journal of Computer Vision(2018): 1-12.

https://hoomano.com

Vers des solutions physiques pour la réduction des coûts de traitement

https://hoomano.com

Small Data

http://smalldata.io/

https://hoomano.com

Biais, discernement, évaluation, explication

Mesure de l’erreur

Explication

Justification

Biais

https://hoomano.com

Exemples concrets de biais

https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/https://www.technologyreview.com/s/603763/how-to-upgrade-judges-with-machine-learning/http://nber.org/papers/w23180 https://www.forbes.com/sites/parmyolson/2018/02/26/artificial-intelligence-ai-bias-google/#57403a1d1a01

https://hoomano.com

Sécurité, ou comment tromper les modèles

http://www.evolvingai.org/fooling https://medium.com/@samim/adversarial-machines-998d8362e996 Practical Black-Box Attacks against Machine Learning - https://arxiv.org/pdf/1602.02697.pdfRobust Physical-World Attacks on Deep Learning Models - https://arxiv.org/abs/1707.08945

https://hoomano.com

Les opportunités de la GDPR quant aux aux données

https://eugdpr.org/

Objectivité

Respect de la vie privée

Considérations éthiques

Justifications, explications

Nouvelles approches du biais

Propriété intellectuelle

https://hoomano.com

De la perception à l’apprentissage, quelques défis à relever

“Elle n’a pas pu mettre le chat dans le sac car il était trop grand !”

On est assez loin du bon sens…

https://www.zdnet.com/article/googles-best-image-recognition-system-flummoxed-by-fakes/

L’éléphant dans la pièce

https://www.quantamagazine.org/machine-learning-confronts-the-elephant-in-the-room-20180920/

https://hoomano.com

Deep Reinforcement Learning (DRL, DQN)

https://hoomano.com

Generative Adversarial Networks

https://www.theverge.com/2017/10/30/16569402/ai-generate-fake-faces-celebs-nvidia-gan

Pour comprendre la beauté ?

https://hoomano.com

Generative Adversarial Networks

Zhang et al. 2016.https://arxiv.org/pdf/1802.08216.pdf

Pour générer des images

https://hoomano.com

CNN pour le transfert de styles

http://genekogan.com/works/style-transfer/

https://hoomano.com

Quelle confiance en les médias ?

Buzzfeed Video - https://www.youtube.com/watch?v=cQ54GDm1eL0