Upload
inigo
View
29
Download
0
Embed Size (px)
DESCRIPTION
Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels. Laurent JEANPIERRE Equipe MAIA Directeur de thèse : François Charpillet. Système dynamique. Perturbations. Système Réel. Actions. Observations. Modèle informatique. Introduction. Contributions - PowerPoint PPT Presentation
Citation preview
03 décembre 2002 1
Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels
Laurent JEANPIERRE
Equipe MAIA
Directeur de thèse : François Charpillet
03 décembre 2002 2
Système dynamique
SystèmeRéel
Modèle informatique
ObservationsActions
Perturbations
03 décembre 2002 3
Introduction
Contributions Modèle compréhensible par des
utilisateurs Apprentissage de modèle Bibliothèque logicielle
Cadre applicatif DIATELIC (ALTIR) Assistance à l’anesthésie (CHU Brabois) Navigation d’un robot mobile
03 décembre 2002 4
Plan de la présentation
Introduction à DIATELIC Modélisation
Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion et perspectives
03 décembre 2002 5
Le projet DIATELICIntroduction
1995 – 2002 Suivi de patients
Traités en DPCA Dialysés à domicile Quotidiennement
Étude de l’hydratation Joue un rôle central dans la dialyse Non mesurable directement
IntroductionIntroduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
03 décembre 2002 6
Le projet DIATELICPrésentation schématique
IntroductionIntroduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
Données
Diagnostic
Traitement
03 décembre 2002 7
Le projet DIATELICPrésentation schématique
IntroductionIntroduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
Données
Diagnostic
Alertes
Traitement
03 décembre 2002 8
DIATELICUn projet d’envergure
IntroductionIntroduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
Une infrastructure conséquente Un transport de données par réseau Un serveur hébergeant le service Une base de données
Des interfaces homme-machine Un appui médical Un module de diagnostic
03 décembre 2002 9
Le projet DIATELICSurveillance d’un système dynamique
Le patient, un système complexe Traitement médical Observation quotidienne Dynamique mal connue Evolution spontanée
Modélisation On recherche un cas moyen Il existe des divergences, des aléas
IntroductionIntroduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
03 décembre 2002 10
Processus de décision Markovien partiellement observable
Un POMDP est un n-uplet {S,A,O,B,T,R} S Ensemble fini d’états A Ensemble fini d’actions O Ensemble fini d’observations B Fonction d’observation
B : OxS [0; 1] T Loi de transition probabiliste
T : SxAxS [0; 1] R Fonction de récompense
R : SxA Ë
Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
03 décembre 2002 11
Les POMDPs
Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
Obs
ObsObs
Obs
03 décembre 2002 12
Ensemble fini d’étatsProblème de diagnostic
Un état normal Des états représentant des déviations
Poids-sec Hydratation
Choix de modélisation : Modélisation des situations « pures » Pas de modélisation des interactions
Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
03 décembre 2002 13
Ensemble fini d’actionsProblème de diagnostic
Une action modifie l’évolution du système Une action peut être incertaine Dans DIATELIC :
« Observer » Reflète notre mauvaise connaissance de l’évolution
du patient Chaque état mène aux autres avec une probabilité
équivalente « Modifier le poids-sec »
Chaque état peut mener à tous les autres Probabilité égale pour chaque état Oublie le passé du patient
Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
03 décembre 2002 14
Évolution du patientLe modèle DIATELIC
Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global
Apprentissage et adaptation Conclusion
État normal
Déshydratation
Hyperhydratation
Poids-sec trop bas
Poids-sec trop haut
03 décembre 2002 15
Les perceptions
POMDP Observations discrètes DIATELIC : Observations continues
Poids Tension Tension différentielle Ultrafiltration
Adaptation nécessaire
Introduction Processus statistiques Perceptions flouesPerceptions floues Modèle global
Apprentissage et adaptation Conclusion
03 décembre 2002 16
Discrétisation des valeurs continues
Discrétisation par intervalles Effets de seuils gênants Beaucoup de paramètres
Utilisation de fonctions continues Expressivité très importante Forme paramétrique fixée Peut nécessiter beaucoup de paramètres
Introduction Processus statistiques Perceptions flouesPerceptions floues Modèle global
Apprentissage et adaptation Conclusion
03 décembre 2002 17
Perceptions floues Peu d’intervalles
Sémantique claire Complexité faible
Transitions douces Pas d’effet de seuil Bonne tolérance au bruit
Filtrer les observations fv(O) = P(v | O) ; vV distribution de probabilités
Fonction d’observation : B* : VxS [0; 1] B (o,s) = ∑ B*(v, s).fv(o)
vV
Introduction Processus statistiques Perceptions flouesPerceptions floues Modèle global
Apprentissage et adaptation Conclusion
Valeur observée
Pro
babilité
du sy
mbole
03 décembre 2002 18
Expression du modèle perceptif Chaque état est décrit :
Par son influence sur les observations Indépendamment des autres états
Les capteurs sont supposés indépendants La valeur fournie par un capteur ne dépend que
de l’état du modèle Chaque capteur est décrit séparément
Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal
Apprentissage et adaptation Conclusion
03 décembre 2002 19
Quelques chiffres De nombreux paramètres :
Actions x Etats² probabilités de transition DIATELIC : 50 paramètres
Valeurs x Etats probabilités d’observation pour chaque capteur DIATELIC : 60 paramètres
DIATELIC : 40 paramètres libres Probabilités de transition fixées Contraintes sur les probabilités
Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal
Apprentissage et adaptation Conclusion
03 décembre 2002 20
Le profil–patient Un profil–patient contient donc
Son poids-sec Ses moyennes mobiles
Tension artérielle Débit moyen de chaque type de poche
Ses probabilités d’observation 41 paramètres à régler par patient !
Apprentissage d’un profil générique Apprentissage des variations
Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal
Apprentissage et adaptation Conclusion
03 décembre 2002 21
Apprentissage du profil
Apprentissage d’un profil générique Algorithme de Baum & Welsh
[Rabiner89] Etiquetage d’un corpus
Chaque donnée est étiquetée Le modèle est défini par des statistiques
Validation manuelle par les médecins Vérification de la sémantique Étude du diagnostic de cas connus
Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal
Apprentissage et adaptation Conclusion
03 décembre 2002 22
Calcul du diagnostic
Procédure Forward [Rabiner89] Prédiction
Estimation de l’état actuel Action en cours connue Projection sur l’état au temps suivant
Recalage Lecture de l’observation Calcul des états compatibles Affinage de la prédiction
Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal
Apprentissage et adaptation Conclusion
03 décembre 2002 23
Adaptation à un patient
En cas de désaccord du médecin A partir des données observées
Spécifique à un patient Permet un meilleur diagnostic futur
Avec l’aide d’un médecin Modification manuelle des paramètres Recherche automatique des paramètres Validation du modèle
Introduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptationApprentissage et adaptation Conclusion
03 décembre 2002 24
Adaptation : un problème difficile
Les conditions théoriques optimales Chaque état est visité Un grand nombre de fois De façon représentative
La réalité Le patient évolue
Peu de données Les pathologies sont rares
Tous les états ne sont pas visités
Introduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptationApprentissage et adaptation Conclusion
03 décembre 2002 25
Descente de gradient Minimise une distance entre
Le diagnostic calculé Le diagnostic corrigé
Maximise la robustesse Probabilité des observations connaissant
le modèle Critère de Baum & Welsh
Fonction complexe Optimisation sans dérivées Paramètres bornés
Introduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptationApprentissage et adaptation Conclusion
03 décembre 2002 26
Descente de gradient en action
Introduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptationApprentissage et adaptation Conclusion
03 décembre 2002 27
Une architecture générique
Introduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation ConclusionConclusion
EEGECGEMG
InjecterAnalgésiquesHypnotiquesCurarisants
Maintenir un niveau de sommeil optimal
Assistance à l’anesthésie
Profondeur de sommeil
de l’analgésie
DIATELICPoids
TensionUltrafiltration
DialyseMédicaments
Régime
Maintenir une
hydratation correcte
HydratationPoids-sec
Navigation en robotique
InfrarougesSonarsCaméra
AvancerReculerTourner
Atteindre une position
donnée
Position sur une carte
Applications Perceptions ActionsBut
recherchéEnvironnement
Localisation
03 décembre 2002 28
Conclusion
Une architecture logicielle Adaptée au diagnostic Basée sur l’observation
Valeurs discrètes Valeurs continues
Facilitant l’interaction avec un expert Expression du diagnostic Expression du modèle Correction du diagnostic
Introduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation ConclusionConclusion
03 décembre 2002 29
Perspectives
Planification Recommandation d’action Boucle fermée (à long terme)
Adaptation par prédiction Remplacer l’expert humain Utiliser une prédiction de l’observation
comme contrôle
Introduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation ConclusionConclusion
03 décembre 2002 30
Perspectives
Aspects continus Actions
Paramétriques Effet durable
Etats Gradient de sévérité Dynamique du processus
Introduction Processus statistiques Perceptions floues Modèle global
Apprentissage et adaptation ConclusionConclusion