La robotique au service des personnes agées: défis et résultats dans le cadre du projet Nursebot Joelle Pineau - Carnegie Mellon University

La robotique au service des personnes agées:défis et résultats dans le cadre du projet Nursebot

Joelle Pineau - Carnegie Mellon University

Nursebot: La robotique au service des personnes agées Joelle Pineau

Le robot Pearl

• Pearl est un assistant robotisé pour personnes agées et personnel médical.

yeux articulés et caméras

sonars

barre d’appuie

base mobile

plateau de livraison

bouche LCD

écran “touchscreen”microphone et haut-parleurs

laser


Profile d’une population vieillissante

Prévision (E.-U.): 450,000 infirmières à recruter d’ici 2008


Transportd’objets

Transportd’objets

Soins à distanceSoins à distance

SocialisationSocialisation

Appel à l’aideAppel à l’aide

SurveillanceSurveillance

Sourced’information

Sourced’information

Suivi des ADLs(“Activities ofdaily living”)

Suivi des ADLs(“Activities ofdaily living”)

Aide-mémoireAide-mémoire

Aide physiqueAide physique

Lien entrepersonnelde soutien

Lien entrepersonnelde soutien

Notre vision de la robotique gériatrique


Le projet Nursebot à ses débuts


Architecture

Aide-mémoireNavigation Communication

Contrôleuren chef


• Localisation et construction de carte(Burgard et al., 1999)

• Détection des individus(Montemerlo et al., 2002)

• Analyse des mouvements(Bennewitz et al., 2001)

Architecture


Contrôleuren chef


Navigation à base de système de particules


Détection des individus


Analyse des mouvements


• Système Autominder (Pollack et al., 2002)

Architecture


Contrôleuren chef


Système Autominder

Horaire del’utilisateur

Modèle del’utilisateur

Info descapteurs

Messagesaide-mémoire

Mise à jourdu plan

Préférences

Info del’utilisateur

Activités àl’horaire

Activités à l’horaire

Activités complétées


• Reconnaissance de la parole: Système Sphinx(Ravishankar, 1996)

• Synthèse de la parole: Système Festival(Black et al., 1999)

Architecture


Contrôleuren chef


Reconnaissance de la parole avec Sphinx


Le rôle du contrôleur en chef:

• Établir les priorités parmi les objectifs des différents modules

• Négocier entre plusieurs objectifs ayant des coûts/gains variés

• Planifier malgré la présence d’incertitude

• Négocier entre l’acquisition d’information et la rencontre des objectifs

• Établir les priorités parmi les objectifs des différents modules

• Négocier entre plusieurs objectifs ayant des coûts/gains variés

• Négocier entre l’acquisition d’information et la rencontre des objectifs

• Passer d’une tâche à l’autre en partageant l’information sensorielle

• Planifier malgré la présence d’incertitude


Contrôleuren chef


Le contrôle des robots à base de Processus de Décision Processus de Décision Markoviens Partiellement ObservablesMarkoviens Partiellement Observables (POMDPs)

Utilisateur + Environnement + Robot

Actions

ObservationsCoûts/GainsCroyance

(“belief state”)

Etat


La famille de modèles Markoviens

Chaîne de Markov Modèle de Markov caché(HMM)

Processus de DécisionMarkovien (MDP)

Processus de DécisionMarkovien Partiellement

Observable (POMDP)

Ambiguité quand à l’état?

non oui

Choixd’action?

oui

non


Le POMDP est un septuple { S, A, , b, T, O, R }

bt-1 ??

at-1

ot

st-1 st

...

...

??ot-1

...

...

rt-1 rt

Le modèle

Croyance:

Etat:

Control:



Problème #1: Ajuster la croyance

En quoi est-ce que la plus récente observation change la croyance?

bt-1 ??

at-1

ot

st-1 st

...

...

??ot-1

...

...

rt-1 rt

Le modèle

Croyance:

Etat:

Control:

baoP

sbassPasoP

sbSs

jjii

ij

t

t

,|

,|,| 1



Problème #1: Ajuster la croyance

En quoi est-ce que la plus récente observation change la croyance?

Problème #2: Trouver un plan

Quelle action permettra au robot de maximiser ses gains?

bt-1 ??

at-1

ot

st-1 st

...

...

??ot-1

...

...

rt-1 rt

Le modèle

Difficile!

Croyance:

Etat:

Control:


Méthodes de résolution pour POMDP

Notre objectif: Trouver un plan, (b), qui maximise les gains.

Complexité

Performance

POMDP

QMDP

MDP

FIBUMDP

AMDP

IDEAL!


Nouvelle approche: Une hiérarchie de POMDPs

• Concept: Exploiter notre connaissance du domaine pour diviser un POMDP en plusieurs POMDPs.

• Motivation: La complexité de la planification POMDP croît de façon exponentielle avec le nombre d’actions.

Agit

ExamineSanté Navigue

AvanceVérifiePoulx

ClarifieBut

Nord Sud Est Ouest

VérifieMeds

tâche

super-action

action


PolCA: La planification avec hiérarchie de POMDPs

• Etant donné POMDP M = { S, A, , b, T, O, R } et hiérarchie H

• Pour chaque tâche h H:1) Choisir les composantes

Ah sous-tâches

Sh S

h

Navigue

Avance ClarifieBut

Sud Est OuestNord

AAvance ={N,S,E,W}SAvance = SAvance =

ANavigue ={ClarifieBut,Avance}SNavigue = SNavigue =





Ah sous-tâches

Sh S

h

2) Minimiser le modèleSh {zh(s0), …, zh(sn)}

h {yh(o0), …, yh(op)}

Navigue

Avance ClarifieBut

Sud Est OuestNord

AAvance ={N,S,E,W}SAvance ={X,Y}Avance ={o0,…,om}

ANavigue ={ClarifieBut,Avance}SNavigue ={X’,Y’,Destination}Navigue ={o0,…,op}





Ah sous-tâches

Sh S

h


h {yh(o0), …, yh(op)}

3) Choisir les paramètres{bh,Th,Oh,Rh} {b,T,O,R}

Navigue

Avance ClarifieBut

Sud Est OuestNord







Ah sous-tâches

Sh S

h


h {yh(o0), …, yh(op)}

3) Choisir les paramètres{bh,Th,Oh,Rh} {b,T,O,R}

4) Planifier tâche hh {bh, Th, Oh, Rh}

Navigue

Avance ClarifieBut

Sud Est OuestNord




L’exécution avec hiérarchie de POMDPs

• Traverser la hiérarchie de haut-en-bas.

Pour chaque tâche, consulter le plan at h(bt)

Cas #1: at termine une branche,

> appliquer cette action.

Cas #2: at est une sous-tâche,

> passer à cette sous-tâche.

Agit

ExamineSanté Navigue

AvanceVérifiePoulx

ClarifieBut

Nord Sud Est Ouest

VérifieMeds


Première étude en simulation

• Domaine 20-questions:

Agent: “Est-ce qu’il s’agit d’un animal?”Utilisateur: “Non.”Agent: “Est-ce qu’il s’agit d’un légume?”Utilisateur: “Oui.”Agent: “Est-ce que c’est vert?”Utilisateur: “Non.”Agent: “...?”


Objectif: Planifier une série de questions permettantde découvrir l’objet choisi.

Petite complication…. l’utilisateur peut changer d’objet n’importe quand (Pr = 0.1), sans en avertir

l’agent.






Actions



l’agent.






Observations



l’agent.


Etats: 1 par objet (e.g. tomate, concombre, lapin, tortue, tulipe, ….)

Observations: “oui”, “non”, “”

Actions: 1 réponse par objet Gains: question = -1+ plusieurs questions bonne réponse = +5

mauvaise réponse = -20

Les détails

Les Animaux

Début

Animal?Les Végétaux Les Minéraux Végétal? Minéral?

Mammiphère? LAPINHerbivore? TORTUE …?… …


Résultats

Domaine: |S|=12, |A|=20, |O|=3

-120

-100

-80

-60

-40

-20

0

0.01 0.1 1 10 100 1000 10000 100000 1000000

Time (secs)

R

POMDP

PolCA-D1

FIB

QMDP


Une nouvelle décomposition

Les Animaux

Début

Les Végétaux Les Minéraux Animal? Végétal? Minéral?

Mammiphère? LAPINHerbivore? TORTUE …?……


Une nouvelle décomposition

Les Animaux

Début

Les Végétaux Les Minéraux

Les Fruits Les Légumes

Animal? Végétal? Minéral?

Mammiphère? LAPINHerbivore? TORTUE …?…

……


Résultats

-120

-100

-80

-60

-40

-20

0

0.01 0.1 1 10 100 1000 10000 100000 1000000

Time (secs)

R

POMDPPolCA-D1PolCA-D2FIBQMDP

Domaine: |S|=12, |A|=20, |O|=3


Un exemple plus intéressant

• Objectif: Le robot est deployé dans un foyer de personnes agées, ou il fournit des rappels à ses utilisateurs et les accompagnent à leurs rendez-vous.

• Domaine: |S|=512, |A|=20, |O|=19 • Hiérarchie:


Résultats pour système de dialogueN

om

bre

mo

yen

d’e

rreu

rs p

ar a

ctio

n

Utilisateur 1 Utilisateur 2 Utilisateur 3

Plan POMDP Plan MDP


Scénario


Travail à venir

• Adaptation et apprentissage de paramètres reliés à la reconnaissance de la parole et aux préférences de l’utilisateur.

• Nouvelles techniques pour approximer les POMDPs.

• Demonstration d’émotions et/ou personnalité utilisant une nouvelle tête.

• Ajout d’un bras pour manipuler des objets.

• Nouvelles barres d’appui pour supporter un utilisateur en mouvement.


Le mot de la fin

• Nous avons developé un premier prototype d’un robot pouvant servir d’assistant mobile pour personnes agées.

• Le robot utilise une variante hiérarchique du modèle POMDP pour sa planification d’action.

• Ceci lui permet d’acquérir l’information nécéssaire pour satisfaire ses objectifs.

• Plusieurs autres méthodes probabilistiques sont utilisées dans le cadre de modules specialisés, tels que la détection d’individus et la planification de messages aide-mémoire.


Pour plus de détails: www.cs.cmu.edu/~nursebot

L’équipe Nursebot

CMU - Robotics:Greg Armstrong

Michael MontemerloJoelle PineauNicholas RoyJamie Schulte

Sebastian Thrun

CMU - HCI/Design:Francine Gemperle

Jennifer GoetzSarah KieslerAaron Powers

U. of Pittsburgh - Nursing:Jacqueline Dunbar-Jacobs

Sandra EngbergJudith Matthews

U. of Pittsburgh - CS:Don Chiarulli

Colleen McCarthy

U. of Freiburg - CS:Maren BennewitzWolfram Burgard

Dirk Schulz

U. of Michigan - CS:Laura BrownDirk ColbryCheryl OroszBart PeintnerMartha PollackSailesh Ramakrishnan

Standard Robotics:Greg Baltus


Comment choisir les paramètres?

• Considerons par exemple TNavigue(s,a,s’)

• Cas #1: a est une action.

TNavigue(s,ClarifieBut,s’) T(s,ClarifieBut,s’)

Navigue

Avance ClarifieBut

Sud Est OuestNord

S

S’Sud

S’

Nord

S’

S’

ClarifieBut

0.7

0.3


Comment choisir les paramètres?

• Considerons par exemple TNavigue(s,a,s’)

• Cas #1: a est une action.

TNavigue(s,ClarifieBut,s’) T(s,ClarifieBut,s’)

• Cas #2: a est une super-action.

TNavigue(s,Avance,s’) T(s, Avance(s) ,s’)

Navigue

Avance ClarifieBut

Sud Est OuestNord

S

S’Sud

S’

Nord

0.9

0.8

0.1

0.2

S’

S’

ClarifieBut

Documents

La robotique au service des personnes agées: défis et résultats dans le cadre du projet Nursebot Joelle Pineau - Carnegie Mellon University