View
66
Download
0
Category
Preview:
DESCRIPTION
Modèles en Fusion d’Information. Pourquoi la Fusion d’information ?. Pourquoi la Fusion d’information ? estimation, décision, diagnostique MAIS les données sont incomplètes, imprécises, non parfaitement fiables... - PowerPoint PPT Presentation
Citation preview
Systèmes de perception/ACCIS 1
Modèles en Fusion d’Information
Systèmes de perception/ACCIS 2
Pourquoi la Fusion d’information ? estimation, décision, diagnostique
MAIS les données sont incomplètes, imprécises, non parfaitement fiables...
utiliser la complémentarité et la redondance entre informations pour affiner et robustifier les estimations/décisionsENCORE FAUT-IL que l’information de chaque soit représentée ‘correctement’
Distinguer la variabilité de l’ignorance
Pourquoi la Fusion d’information ?
Systèmes de perception/ACCIS 3
Objectifs classiques en fusion Synthèse de l'informationÉviter la redondance lorsque plusieurs sources détectent le même phénomèneMise en commun des informations relatives à un même objet, une même variable et provenant de plusieurs sources (capteurs physiques, vs logiques) Augmentation de la qualité de l’information
Préciser l’informationAmélioration de l’estimation par recoupement d'informations provenant des différents capteurs (règle de type conjonctif !)
Robustifier l’informationCertifier la consistance de l’information par recoupement d'informations provenant des différents capteurs (filtrage)
Cas d’école: pistageSuivi des déplacements d'un objet au cours du tempsCalcul de la position, vitesse, classe... Capteurs hétérogènesLes détections à fusionner proviennent de capteurs aux caractéristiques très
différentes (portée, précision de la localisation, …) Cadre de discernement homogèneChaque capteur n'a qu'une vue partielle de la zone à surveiller, mais les
observations concernent les mêmes variables d’état
t1 : Caméra visible
t2 : Pir
t3 : Microt4 : Caméra IR
Exemple de problème de Fusion
Systèmes de perception/ACCIS 4
Origines de l’incertitude: variabilité des phénomènes aléatoires (tirages, etc...)Défaut d’information: incomplétude, ignoranceInconsistance des informations: conflit
2 types d’informations: tendances générales (cas typiques), cas particulier (observation directe éventuellement imprécise)
Distinction de ces 2 types d’information en théorie des probabilités probabilités fréquentistes versus probabilités subjectives
Paradoxes (instabilité, réfutation empirique...)
Pourquoi aller au-delà des probabilités ?
Ex. Lancer de dé, date de naissance...
Ex. Paradoxe de Bertrand, paradoxe d’Ellsberg
Systèmes de perception/ACCIS 5
Panorama des théories de l’incertain
Théorie des probabilités imprécises
(upper-lower probabilities disjunctive convex sets of
probabilities)
Analyse par intervalles
Théorie des fonctions de croyances(random disjunctive sets)
Théorie des possibilités(fuzzy (nested disjunctive)
sets)
Théorie des probabilités
(randomized points)
Probabilités fréquentistes
Probabilités subjectives
Représentations ensemblistes (set-based representations)
Logique floue
Shafer, SmetsDempster
Systèmes de perception/ACCIS 6
Modèles basés fonctions de croyances
6
• Modéliser l’imprécision et l’incertitude croyance sur un ensemble disjonctif (intervalle...),
• Modéliser l’ignorance croyance sur le cadre de discernement complet,• Prendre en compte la non idépendence des sources ( règles de combination
idempotentes),• Détecter les sources/données aberrantes mesurer le conflit entre les
sources (m(), etc.),• …
Ground truth
C1 C3C2
S1&2 classif.
C1
C3
C2
S1 classif.
C1C3 C2
S2 classif.
C3 C1C2
Exemple jouet en classification d’image
S1&2 classif.En modélisant les ambiguités entre classes
En modélisant l’imprecision spatiale BF définis via les
opérateurs de Math. Morph.
Systèmes de perception/ACCIS 7
Décomposition du conflit (fonctions de croyances)
• Le désaccord entre sources classiquement mesuré par m().Décomposition unique sur les hypothèses du cadre de discernement
chacun des termes de la décomposition est interprété comme la contribution au conflit Dempsterien.
Roquel A., Le Hégarat-Mascle S., Vincke B., and Bloch I., "Decomposition of conflict as a distribution on hypotheses in the framework on belief functions", International Journal of Approximate Reasoning, in revision.
Exemple jouet en classification
Identification de l’origine du conflit (ici erreur sur de l’hyp. H2) grâce à la décomposition proposée.
Birdview des trajectoires du robot estimées resp. par chacune des sources individuellement, ou par fusion des sources, ne prenant pas en compte ou prenant
en compte la mesure proposée du conflit.
Application au pb de la localisation
Systèmes de perception/ACCIS 8
Approche unifiée pour syst. de surveillance répartiAndré C., Le Hégarat-Mascle S., and Reynaud R., “Smartmesh”.
• Classiquement système de pistage inclus différents blocs fonctionnels (prédiction, association, mise à jour, gestion des pistes) chaque sous-problème est alors traité selon son propre cadre de discernement.
Approche unifiée cadre de discernement = pavage 2D de la région
• Représentation de l’information de localisation bbas consonantes réparties aux différents nœuds contrôle de la quantité d’information de la représentation
• Prise en compte d'éléments topographiques :Règle disjonctive versus règle conjonctive
• Association plots-pistes :Pour n associations recherchées, le cadre de discernement est 2n; maximiser la plausibilité sur 2n tout en forçant la localisation à coïncider la fonction d’association â(.):
• Mise à jour :Combinaison évidentielle des plots et pistes associés
n
iOO
.aiai
.a iai
nmmaxargn...i,OOplmaxarga
111
2
Systèmes de perception/ACCIS 9
ADAS : Estimation de la fatigue du conducteur
Constat : D’après un rapport du NHTSA[1], 20% des accidents (16% des accidents mortels) avaient pour cause une distraction ou un endormissement du conducteur.
[1] National Highway Transportation and Safety Administration. An examination of driver distraction as recorded in nhtsa database, Sept 2009
Sources d’information potentielles Observation directe du conducteur :
- Perclos (percentage of eyes closure)- Fréquence de clignement des yeux- Durée de fermeture des paupières
Environnement routier : Position et évolution du véhicule dans sa voieStyle de conduite du véhicule : Fluidité, accélérations
Modélisation de la fatigueEspace de discernement dérivé du
modèle ORD Spécificités :1- Certaines données sont dépendantes, d’autres non2- Présence de conflit lorsque les sources se contredisent
Combinaison d’informations directes et indirectes très imprécisesUtilisation des fonctions de croyances
Emission d’une alarme en cas de détection d’endormissement
Systèmes de perception/ACCIS 10
Méthode multi-hypothèses par analyse par intervalles BESE : Bounded Error State Estimation
Intérêt : L’analyse par intervalle propose la caractérisation d’un ensemble solution garantie à partir de mesures et modèles à erreurs bornées.
L’analyse par intervalle permet :L’extension aux intervalles des fonctions élémentaires
La fonction d’inclusion [f] de f revoie un intervalle tel que
Problème d’inversion de l’observationCas ensembliste : caractérisation de l’ensemble X image réciproque de la fonction vectorielle f de Y
. xxxfxf
xfxfDx ,Rf x( ) f x( )
x x
[ ]x [ ]x
[ ]([ ])f x [ ]([ ])f x
sm n...i,iyx,iyS 1 Xx
?
x2
x1
[ ]( )x]y [m
[x ]0
Systèmes de perception/ACCIS 11
Propagation de Contraintes
Décomposition en contraintes primitives et propagation de contraintes
Systèmes de perception/ACCIS 1212
Fusion de données ensembliste (GPS, odomètre, gyromètre)
Etape de prédiction : utilisation d'ImageSP
Etape de correction : utilisation de SIVIA
Techniques probabilistes supposent des mesures sans biais
A. Lambert, D. Gruyer, B. Vincke, E. Seignez. "Consistent Outdoor Vehicle Localization by Bounded-Error State Estimation"IEEE International Conference on Intelligent Robots and Systems. Best Paper Award Finalist. 2009, p. 1211-1216.
Hypothèsenon valide
Inconsistancede la solution
Technique alternative utilisant l'arithmétique intervalle et pour seule hypothèse un bruit borné
Systèmes de perception/ACCIS 13
Modèles en Traitement d’Images et Perception
Systèmes de perception/ACCIS 14
Pourquoi le Traitement d’images ?
capteur plus large spectre qui permette l’extraction de plusieurs paramètres physiques
MAIS grande richesse en termes d’information complexité, accès indirect…
traitement d’images orienté Vision, c’est-à-dire piloté par l’objectif
e.g. Objets attendus versus objets inattendus
ENCORE FAUT-IL définir un critère de détection des objets
Modèles versus significativité
Quel traitement d’images ?
Systèmes de perception/ACCIS 15
Exemple de problème de traitement d’image
2 grands types de traitement d’images
Cartographie image interprétée en tant que carte…de profondeur (à partir d’une paire dimages stéréo), humidité de surface (à partir de télédétection SAR),des organes et tissus (à partir d’imagerie médicale),... de label en classification... décider en chaque pixel la valeur du paramètre à
cartographier, e.g. grandeur physique ou un label
‘Detection/identification’ image interprétée pour en déduire…
les objets d’intérêt, les caractéristiques cde ces objets d’intérêt,… classification niveau objet, suivi d’objets… détecter and caractériser les objets présents
dans l’image ou la séquence vidéo
Cas d’école: analyse de scène dynamiqueSegmentation statique/dynamiqueCas de séquences vidéo, mono ou multicamérasCaméra embarquéeEstimation du mouvement (6dof) : Odométrie visuelle Problème d’optimisation en présence d’outliersModèle sur la partie statiquePartie statique: dominante, consistante, structurée…Partie dynamique complémentaire
Systèmes de perception/ACCIS 16
Modèles de…..
Approches basées modèle
Modèles de caméras
Approches cumulatives (Modèles paramétriques)
Approches a contrario
Modélisation du bruit
Procédures statistiques classiques: tests,
analyse de la variance...Modèles d’objets
Modélisation tensorielle
Systèmes de perception/ACCIS 17
Modélisation a contrario Exemple de la détection d’alignement (Desolneux et al., 2000)
17 Principe de Helmholtz : « Toute structure trop régulière pour apparaître ‘par hasard’ attire l’attention et devient une perception »
Principe des méthodes a contrario : détecter une configuration en contredisant un modèle d’absence de structure (i.e. de bruit) dit naïf
Soit E l'ensemble des événements, Pr la probabilité d'apparition d’un événement e de E. Pour tout eE, on définit le Nombre de Fausses Alarmes tel que
NFA(e) = |E|.Pr(e) et pour tout 0, e est dit -significatif si
NFA(e)
Illustration du principe de Helmholtz. [Desolneux 2003]
Détection des structures ‘trop régulières’ Mesure d’1 déviation (étonnement) / modèle de bruit
Systèmes de perception/ACCIS 18
Critère NFA Problème de détection Pb d’optimisation
18 Niveau pixel: N1 : en l’absence de structuration, l’image différence (foreground-background) est un champ aléatoire de variables gaussiennes centré de variance 2
Niveau fenêtre: N2 : en l’absence de structuration, le nombre de points dans un pavé donné suit une distribution binômiale de paramètre p
Ammar M., Le Hégarat-Mascle S., Vasiliu M., and Reynaud R., "An A-Contrario Approach for Object Detection using Embedded Camera System", Pattern Recognition, submitted.
Example of detection (static camera case): (a) Absolute difference image between foreground and background images, (b) curves of log\(NFA1) and 2 versus cardinality of D (subdomain of amazingly consistent pixels), (c) result of detection at pixel level: 3 label image (whiteobject, blackbackground), (d) result of detection at window level (medium window sizes), (e) curves of -log(NFA2) versus cardinality of the window subset (amazingly dense windows), (f) result of detection at window level (small windows).
(a) (b) (c) (d)
(e) (f)
Systèmes de perception/ACCIS 19
Critère NFA Estimation de paramètres en présence d’outliers
19 Modèle naïf représente l’absence de données structurées ‘étonnement’ par rapport à
la détection d’une structure D’AUTANT PLUS SIGNIFICATIVE que les paramètres cachés sont correctement estimés
SLOD (Simultaneous Localisation and Object Detection) : A partir d’1 base d’images ‘ancienne’, et d’1 nouvelle acquisition, Estim. de (i) translation spatio-temporelle, (ii) transfo. des niv. de quantif., et (iii) du sous-domaine image / minimisent NFA
Estimation de l’égomouvement
Le Hégarat-Mascle S., Robin A., & Reynaud R., “Simultaneous Localization and Object Detection using an a-contrario approach”, ICVGIP’10, 2010.
?
?
Val. NFA en fct de l’indice de l’im. dans base observat° d’1 minimum clair
Base d’ images
Systèmes de perception/ACCIS 21
Approches cumulatives Exemple de la transformée de Hough
21 Principe: Les objets recherchés sont décrits à l’aide de fonctions simples modélisées par leurs paramètres (Ex.: segments de droites, arcs de cercles)
La transformée de Hough permet de passer de l’espace image à l’espace des paramètres pour rechercher dans cet espace les objets d’intérêt
Dans cet espace des paramètres, les objets d’intérêt sont des points et tous les pixels de l’image appartenant à un objet d’intérêt s’accumulent au point correspondant dans l’espace des paramètres aussi appelé espace cumulatif
Droite de paramètres (r0,) d’éq. r = r0.sec(-)
r0 = r.cos().cos()+ r.sin().sin()
r0 = x.cos()+ y.sin()r0
M(r,)
r
M0(r0,)
-/2
r0/r = |cos (-)|
Systèmes de perception/ACCIS 22
détection• par accumulation d’ ‘indices’,• dans un espace approprié.
Identification de plans dans l’espace c-vélocité
Flot optique w
c-map
Cas d’1 plan frontalCas d’1 plan horizontal Cas d’1 plan latéral
Espace de vote cumulatif
w
c
Détection d’un plan latéral
Bouchafa S., Zavidovique B., “C-velocity: a Cumulative Frame to Segment Objects from Egomotion”, Pattern Recognition and Image Analysis, 19(4):583-590, 2009.
Systèmes de perception/ACCIS 23
Modèle de caméra Modélisation du mouvement par contraintes multi-vues
Modélisation tensorielle • Analyse espace-temps (vision stéréoscopique)• Relations entre les amers observés (Point-line-point transfer)• Operateur de transfert quadrifocal (stéréo + temps) [Comport
et al 07]
• Meilleur conditionnement (vs. M. fondamentale, mvmt suivant les lignes épipolaires) • Non-linéarisation du mouvement (ex. flot optique)• Simplification par la condensation de contraintes dans un operateur
Systèmes de perception/ACCIS 24
Méthode robuste à la présence de données aberrantes
Segmentation d’observations en statiques (inliers) et dynamiques/aberrantes (outliers)
Relaxation de la contrainte d’absence d’outliers ou de détection de ces derniers pour ne pas les prendre en compte dans l’estimation M-estimateurs
Fonction de pondération
Illustration dans le cas de la régression linéaire
• Estimateur robuste : remplacer la minimisation de la somme des carrés des résidus, par une fonction des résidus(e.g.Hiber, Cauchy, Tukey, Geman) [Stewart 99]
minimisation d’un problème de moindres carrés pondérés Estimation itérative de poids via un schéma d’estimation IRLS
(iterative reweighted least squares)
Systèmes de perception/ACCIS 26
Application: Odométrie visuelle en milieu urbain
Trajectoire de 700mDérive sur le plan (2D) : 3.9%Dérive en altitude : 0.25%
Trajectoire de 227mOdométrie multimodaleDérive 3D ~ 4m
Rodriguez, S. A., Fremont, V., Bonnifait, P., & Cherfaoui, V. “Multi-Modal Object Detection and Localization for High Integrity Driving Assistance”, Machine Vision Applications, 2011.
Formalisation de la solution proposée [ITSC 2009], [MVA 2012] – Mesure du mouvement:
» Points d’intérêt suivi au cours du temps– Mouvement prédit suivant les contraintes projectives :
» Points d’intérêt projetés par l’operateur quadrifocal
Fonction d’erreur
– Optimisation: méthode de descente de gradient (LM)
Systèmes de perception/ACCIS 29
Du point de vue du clustering des données aberrantes et des sources…
Méthodes robustes
Approches cumulatives
Approches a contrario
Gestion des données aberrantes
Inconsistance des informations: conflit
Fusion de données
Recommended