Domaines d’intérêt Traitement du signal et des images Fusion des informations sensori-motrices au niveau du SNC Muscles artificiels Systèmes de Contrôle

Domaines d’intérêtDomaines d’intérêt• Traitement du signal et des images•Fusion des informations sensori-motrices au niveau du SNC• Muscles artificiels• Systèmes de Contrôle inspirés de la biologie•Contrôle sensori-moteur des mvms de la main (biologique et artificielle)

Bureau + Lab: INSERM U.742 -ANIM, 7 quai St. Bernard, Bâtiment A, 2ème étage, Pièce A203, Jussieu, 75005, Paris

E-mail: [email protected]: http://www.aass.oru.se/~ser/Tél.: 01 44 27 23 79

UE NEO234 Les aspects computationnelles du contrôle moteur

Les modèles du contrôle moteur volontaire

T. Selim Eskiizmirliler (Ph.D ENST, MCF Paris 7)

Séance 1 :• Rappel des aspects neurobiologiques du Contrôle Moteur.• Les aspects computationnels du contrôle moteur• Les modèles des circuits neuronaux, Ex: Modèle du cervelet Séance 2 : • Modélisation de la fusion des Informations Sensori-Motrices• Application du modèle proposé à la prédiction des cinétoses dans les trains pendulaires à grande vitesse (TGV pendulaire).• Application du modèle au contrôle d’un actionneur à 1 ddl mû par des muscles pneumatiques de McKibben. •Séance 3:•Une architecture multi réseaux d’apprentissage multimodale pour contrôle moteur des mvm d’atteindre et de saisir inspirée de la connectivité cortico cortical.•Application du modèle sur un bras « anthropomorphique » à 7 ddl équipé d’une main à 3 doigts. •Projet Européens PALOMA, NEUROBOTICS.• Projets actuels de l’équipe 2 de l’INSERM U742• Qu’est-ce qui se passe ailleurs?

UE NEO234 Les aspects computationnelles du contrôle moteur

UE NEO234 / Un peu d’histoire/ Un peu d’histoire

Anatomical drawing by Leonard de Vinci. The Santa Maria Nuova hospital, Florence (1504-1507).

May be not since Aristotle (384-322 BCE),

who believed that the brain is composed of soil and water ,

but, since Herophilus (330-260BC) ,

who took the decisive step by identifying the nerves of movement and sentiment, and hereby, located the intelligence in the brain,

it is known that the sensory and motor regions of the Central Nervous System (CNS) exchange information via anatomical connections and so they provide the PERCEPTION and THE CONTROL OF BODY MOVEMENTS.

La science est où le plaisir et la curiosité se rencontrent.St. Augustin

UE NEO234 / Un peu d’histoire/ Un peu d’histoire

Cardiocentristes

Aristotle (384-322 BCE.) "Le cœur est le centre de la pensée et des émotions.

Galen (129-210 AD) Un réseau admirable "rete mirable" entre le coeur et la tête par où

l'énergie vitale est transmis du cœur à la tête .

Cephalocentristes

Democrite (469-399 BC) : "Le cerveau est la citadelle du corps. Il est le guardian de l'intelligence

et de la pensée".

Hippocrates (460?-377?BC): "Si le cerveau est irrité, l'intelligence sera perturbée."

Herophilus (330-260 BC) "L'intelligence est situé dans le cerveau". Distinction des nerfs de

"sentiment" et de "mouvement".

Le choix semble ne pas encore être fait :

Shakespeare (1564-1616) (AD)"Dis moi où l'amour est situé, dans le cœur ou dans la tête? "

UE NEO234 Les aspects neurobiologiques du mouvement volontaire

Architecture et fonctions

Apprentissage, contrôle,Coordination des mouvements

Le boucle sensori-moteur et la position des modèles internes du contrôle sensori-moteur dans le boucle

Wolpert & Ghahramani, Nature 2000


L’activité des neurones du cortex moteur est liée à la force musculaire. Le neurone corticospinal spécifique du flexion du poignet ne code que la force mais pas le déplacement.


Evarts (1968)

Propriétés neuronales


L’activité des neurones du cortexmoteur dépend de la tâche.

Cheney et Fetz (1980)

Muir et Lemon (1983)

Propriétés neuronales

Propriétés neuronalesL’activité des neurones du cortex moteur dépend de la direction du mouvement.

Georgopoulos et al. (1982)Lawrence et Kuypers (1968)

La voie corticospinale directe est nécessaire pour le contrôle fin des doigts.


UE NEO234 Les aspects computationnels du contrôle moteur

• Où est la tasse? Où est mon bras?– Intégration des informations sensorielles– Référentiels, systèmes de coordonnées• Comment atteindre la tasse?– Choix et formation d’une trajectoire– Equivalence motrice, redondance cinématique• Comment calculer la commande motrice?– Choix des muscles et des activations musculaires– Redondance dynamique• La commande est-elle correcte?– Corrections en ligne : rétroaction sensorielle– Boucle ouverte ou boucle fermée?• Comment faire mieux la prochaine fois?– Adaptation, apprentissage moteur

Où est la tasse? Où est mon bras?


• Modalités : vision, audition, proprioception, …– Fusion multimodale• Référentiels– Position de la cible : définie dans un repère fixe (terre) mais perçuedans un repère en mouvement (corps)– Position du bras : définie dans le repère du corps– Dans quel espace le mouvement est-il représenté?

Perenin et Vighetto (1988)


Comment atteindre la tasse?

• Choix d’une trajectoire– Chemin dans l’espace (de la tâche)– Parcours temporel sur de la trajectoire• Formation d’une trajectoire– Effecteur (DEGRÉS DE LIBERTÉ, ÉQUIVALENCE MOTRICE)– Trajectoire articulaire (REDONDANCE)

• Mathématiquement : cinématique inverse– Transformation de coordonnées– Problème « mal posé » (ill-posed problem)


Comment calculer la commande motrice?

• Calcul des couples articulaires– Pour réaliser la trajectoire articulaire désirée• Distribution des forces– Redondance dynamique• Mathématiquement : dynamique inverse


• Sources d’erreur– Localisation de la cible (cible/oeil, oeil/tête, tête/corps)– Localisation de la main et posture du bras (visible ou non)– Estimation des grandeurs physiques (longueur, masse, inertie)– Approximation des transformations– Perturbations (e.g. la cible a bougé)– Bruit• Solution : correction en ligne– Utilisation de la vision et de la proprioception– Délais dans les retours sensoriels• Points-clé– Débat non résolu : boucle ouverte ou boucle fermée?– Programme moteur vs élaboration en ligne– Réflexe vs volontaire

La commande est-elle correcte?


Comment faire mieux la prochaine fois?

• Adaptation, apprentissage moteur– Interface biomécanique : outils, télémanipulateur– Transformations visiomotrices (gains, rotations, …)– Transformations dynamiques (inertie, viscosité, raideur)• Nature des apprentissages– Temporaire / permanent– Interférences– Apprentissage vs développement• Construction– Signaux d’erreur– Etapes d’apprentissage

Etat interne. Ex: objet ponctuel soumis à une force. Pourdéfinir le mouvement de l’objet, il faut connaître sa masse,l’histoire des forces appliquées et les conditions initiales(position, vitesse).– La position et la vitesse représentent l’état interne du système.– Intérêt de la notion d’état : le corps humain possède 600 muscles quisont en première approximation soit contractés soit relachés. Ilexiste donc 2^600 activations motrices (plus que le nombred’atomes dans l’univers).– L’état interne est une représentation simplifiée, compacte extraite deces activations.

UE NEO234 Les modèles computationnels du contrôle moteur

Systèmes dynamiques

• Contrôle. Trouver l’entrée (contrôle) de façon que la sortie(observation) se comporte d’une certaine façon.– Rester près d’une valeur de référence : Régulateur; rester proched’une trajectoire désirée : problème de suivi.• Estimation. La valeur de l’entrée peut être calculée enfonction de l’état si celui-ci est disponible.– De façon générale, seule une estimation de l’état est disponible.L’estimation a pour but construire une représentation de l’étatcourant à partir de l’histoire des sorties (observations).• Rétroaction. Un signal de contrôle a un effet attendu quipeut ne pas se réaliser en raison de perturbations oud’inexactitudes dans la connaissance du système.– Une rétroaction est nécessaire pour comparer la performancecourante et la performance désirée et décider d’un effetcompensatoire sur les entrées. La rétroaction doit être appropriée(instabilité, performances pauvres).

Systèmes dynamiques



Contrôle en boucle fermée

Erreur bien définie, limite sur le gain, delai dans la boucle,pas de prédiction. Utilisation : mouvements lents, posture.

Types de contrôleProportionnel

Dérivatif : amortissement pour éviter les oscillations

Intégral : pour éviter les erreurs d’équilibre (le terme intégralaugmente le couple de plus en plus jusqu’à annuler l’erreur)


Contrôle en boucle fermée

Contrôle en boucle ouverte


• Modèle direct : modèle de la relation causale entre lesactions et leurs conséquences. Permet de prédire lecomportement d’un système (corps, monde extérieur, ...).– Un modèle direct de la dynamique d’un bras prend en entrée l’étatcourant du bras (positions et vitesses) et les commandes généréespar un contrôleur pour produire une estimation du nouvel état.• Modèle inverse : modèle de la relation entre les conséquencedésirées et les actions.– Un modèle inverse de la dynamique d’un bras prend en entrée latrajectoire désirée pour produire les commandes appropriées à laréalisation de cette trajectoire.

Modèles internes


Modèles internes


modèles directs


Pour empêcher un objet de glisser dans la main, une force de prise (normale, gripforce) doit être exercée pour compenser la force de charge (tangentielle, load force).


modèles directsUn sujet évoque une stimulation tactile sur la peau d’une main à travers une interface robotique manipulée par l’autre main. Lorsque le mouvement d’une main est transmis directement à l’autremain, le sujet soustrait l’effet sensoriel prédit de l’effetsensoriel réel de la stimulationtactile. Le sujet ne perçoit pasde « chatouillement » . Aucontraire, lorsqu’un délai estintroduit entre l’action d’unemain et la stimulation tactile, lesujet perçoit une erreur deprédiction qui se traduit par une sensation de chatouillement.

Les sujets estiment la position de leur main à lafin d’un mouvement exécuté dans le noir. Danscertains cas, une force externe est appliquée à lamain. Les erreurs varient en fonction de la duréedu mouvement et sont décrites par la propagationtemporelle du biais et de la variance. Utilisationcombinée d’un modèle interne direct (prédictiondu déplacement à partir des commandes motrices)et d’informations sensorielles afférentes. Lesdonnées ne peuvent être expliquées par l’un desdeux composants seul.


modèles directs

• Un système peut utiliser un modèle direct plutôt qu’une rétroaction externe pour déterminer l’effet d’unecommande et l’erreur associée.L’utilisation de l’effet prédit permet d’éviter l’instabilité inhérente aux délais de rétroaction →

Prédictionsur le comportement du corps etdu monde.• Estimation de l’état du corps.Observateur, filtre de Kalman.


Rôle des modèles directs

modèles inverses


Une activité EMG est observéedans des muscles qui agissent àdes articulations stationnairespendant des mouvements ducoude ou de l’épaule. Cetteactivité ressemble aux activitésagoniste-antagoniste observéespendant le mouvement. De pluselle démarre avant lemouvement et son amplitudevarie avec la vitesse dumouvement de l’articulation nonstationnaire (c-à-d avec lecouple d’interaction produit parle segment en mouvement).

Apprentissage d’un modèle direct


Un modèle direct utilise unecopie de la commande pourprédire les conséquences d’uneaction. Cette prédiction peut êtrecomparée à la conséquenceréelle pour générer un signald’erreur de prédiction, qui peutêtre utilisé pour mettre à jour lemodèle.Wolpert et Flanagan (2001)

Apprentissage direct inverse


Une transformation est apprise en échantillonnant la transformation inverse. Ex:apprentissage de la relation comportement désiré →

Apprentissage distal supervisé


Les actions sont des variablesproximales (i.e. que l’étudiantcontrôle directement). Lesconséquences des actions sont des variables distales.L’étudiant forme un modèleinterne prédictif (modèledirect/forward) en explorantles résultats associés avec lechoix de certaines actions. Cemodèle interne est utilisé pourapprendre la relation entreintentions et actions.

Apprentissage distal supervisé

L’apprentissage du modèle inverse utilise l’erreur de performance(différence entre résultat attendu et résultat actuel). Le modèle directtraduit cette erreur dans l’espace distal en une erreur dans l’espaceproximal qui permet de superviser l’apprentissage du modèle inverse.L’apprentissage est correct même si le modèle est imprécis.



Feedback-error learning

Un contrôleur feedback est utilisé pour corriger l’erreur entre l’état courant et l’état désiré. Il en résulte une commande feedback qui s’ajoute à la commande feedforward générée par le modèle inverse.La commande feedback devient nulle quand l’erreur est nulle. Elle peut être utilisée comme un signal d’erreur pour entraîner le modèle inverse.

Synthèse


Les modèles du cortex cérebral:Marr 1971Banquet et coll. (1998)Cohen et Eichenhaum (1993)Zipser (1991) et Zipser et coll (1993)Grossberg (1973-1997)Bullock & Grossberg (1998)

UE NEO234 Les modèles des circuits neuronaux du contrôle moteur

Les modèles des ganglions de la base: Bullock & Grossberg (1988)Monchi & Taylor (1995)Gullapali et coll. (1995)Dominet et coll. (1992-1995)

Les modèles du cervelet:Marr (1969)Albus (1971) Fujita (1982)Pellionisz (1986)Gluck et coll. (1990) Chauvet (1991)Bullock et coll. (1994)Fiala et coll. (1996) Schweighofer, Arbib, Dominey (1996)

CEREBELLUMENTREES SORTIES

Mossy FibersSignaux de commandesCortex Cérébral (sensory-motor activity)Signaux de rétroactionSystème vestibulaire (balance)Formation Réticulaire (alerting)Position of jointsTension in tendonsVelocity of contraction of musclesPressure on skin

Purkinje cellEyesMouthArmsHands, FingersLegsFoots, Toes

UE NEO234 Le modèle du cervelet

Cross section of Cerebellar cortex.

The principal cells and fiber systems of the cerebellar cortex.

Schematic representation of the main connections between primary cerebellar cortex cells.

UE NEO234 Le modèle du cervelet

oùS = input vectorM = set of mossy fiber used to encode SA = set of granule cells contacted by Mp = output (Purkinje cell)

pAMS )(Shp

CMAC est défini par une série de cartographes (mappings)

et

UE NEO234 Le modèle du cervelet, CMAC, Albus (1971, 1990)

Modèle théorique du cervelet La représentation schématique de CMAC Marr (1969), Albus (1975, 1990)

FeedbacksCommandsF

Ni

C

i SSSSSSFCS ,.....,,,....,,, 1321

oùC=Symbolic motor commands + desired velocity, force etc.F= Actual joint position, the tension on tendon etc.

XWVTSC

RQPNMC

KJHGFC

EDCBAC

,,,,

,,,,

,,,,

,,,,

41

31

21

11

xwvtsC

rqpnmC

kjhgfC

edcbaC

,,,,

,,,,

,,,,

,,,,

42

32

22

12

*

*22

*11

.

.

.

Nn ms

ms

ms

MS

UE NEO234 Le modèle du cervelet, CMAC

INFORMATION FLOW IN CMACMS The Mapping

Encoding

Quantizing functions for K=4, N=2

Two variable, N=2, CMAC with K=4 quantizing functions on each variable and 25 granule cells for each permutation of corresponding quantizing functions.

vqjcmVPHBmthenss ,,,,,,107 *2

*121

vqjc VPHBA ,,,*


AM The Mapping

mappingAM

118

74

2

1

s

and

s

for

mappingAM )10,7(),( 21 ss

),( 21 ss )10,8(

for

Bc will drop out to be replaced by Cc

if moves to

• Each granule cell receives input from several different mossy fibers, and no two granule cells receive input from the same combination of mossy fibers.

• Example:Then the active granule cells can be computed as


T h e pA M A P P I N G

G r a n u l e c e l l s g i v e r i s e t o p a r a l l e l f i b e r s w h i c h a c t t h r o u g h w e i g h t e d c o n n e c t i o n so n t h e P u r k i n j e o u t p u t c e l l , v a r y i n g i t s f i r i n g r a t e .

T h e P u r k i n j e o u t p u t c e l l s u m s o n l y t h e w e i g h t s s e l e c t e d o r a d d r e s s e d b y A * . T h i ss u m i s t h e C M A C o u t p u t s c a l a r v a r i a b l e p .

E x a m p l e : ),(S 107 m a p s i n t o vqjc* V,P,H,BA w h i c h s e l e c t s t h e w e i g h t s

.W;.W;.W;.W VvPqHjBc 0010201 T h u s 04 .p

A s t h e i n p u t v e c t o r S m o v e s o v e r t h e i n p u t s p a c e ,a v a l u e p i s t h e o u t p u t a t e a c h p o i n t .T h e r e f o r e C M A C c o m p u t e s t h e f u n c t i o n p = h ( S ) .

T h e d i f f e r e n c e i n a d j a c e n t w e i g h t si s t h e p a r t i a l d e r i v a t i v e o r p a r t i a l d i f f e r e n c e ,o f t h e f u n c t i o n a t t h a t p o i n t .

Le flux d’information pour un robot à 7 ddlcontrôlé par 7 CMACs.

Deux trajectoires similaires TPa et TPb pour un mouvement élémentaire <SLAP> qui ont été apprises par les 7 CMACs.


L’effet de l'interférence d’apprentissage. Si l’apprentissage on Tpaest interrompu par une trajectoire similaire TPb, on observe une dégradation de la performance sur Tpa. Des itérations répétitives surmontent cette interférence d’apprentissage ou l’inhibition rétroactive.

La performance d’apprentissage et de généralisation de CMAC pour le mouvement <SLAP> Tpa.


Documents

Domaines d’intérêt Traitement du signal et des images Fusion des informations sensori-motrices au niveau du SNC Muscles artificiels Systèmes de Contrôle