View
418
Download
0
Category
Preview:
Citation preview
Modélisation et gestion de concepts, en particulier temporels, pour l’assistance à la caractérisation de séquences d’images
Alain Simac-LejeuneDirection : Patrick Lambert et Michèle Rombaut
Laboratoire LISTIC Annecy et GIPSA-Lab Grenoble
14 juin 2011
Alain Simac-Lejeune 2Soutenance de thèse de doctorat - 14 juin 2011
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
/ 43
Alain Simac-Lejeune 2Soutenance de thèse de doctorat - 14 juin 2011
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
IntroductionContexte
production-numérisation / stockage / haut-débit=> explosion du volume de documents numériques
/ 43
Alain Simac-Lejeune 2Soutenance de thèse de doctorat - 14 juin 2011
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Problèmeorganiser (classement) et recherche de documents
Contexteproduction-numérisation / stockage / haut-débit
=> explosion du volume de documents numériques
/ 43
Alain Simac-Lejeune 2Soutenance de thèse de doctorat - 14 juin 2011
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Problèmeorganiser (classement) et recherche de documents
Contexteproduction-numérisation / stockage / haut-débit
=> explosion du volume de documents numériques
Solution : l’indexation
étiqueter chaque document afin de permettre la recherche par navigation/requête
/ 43
Alain Simac-Lejeune 2Soutenance de thèse de doctorat - 14 juin 2011
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Problèmeorganiser (classement) et recherche de documents
Contexteproduction-numérisation / stockage / haut-débit
=> explosion du volume de documents numériques
Solution : l’indexation
étiqueter chaque document afin de permettre la recherche par navigation/requête
/ 43
texte : OK
Alain Simac-Lejeune 2Soutenance de thèse de doctorat - 14 juin 2011
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Introduction
Problèmeorganiser (classement) et recherche de documents
Contexteproduction-numérisation / stockage / haut-débit
=> explosion du volume de documents numériques
Solution : l’indexation
étiqueter chaque document afin de permettre la recherche par navigation/requête
/ 43
texte : OK video : ?
Alain Simac-Lejeune 3Soutenance de thèse de doctorat - 14 juin 2011
Existant
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 3Soutenance de thèse de doctorat - 14 juin 2011
Existant
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
Alain Simac-Lejeune 3Soutenance de thèse de doctorat - 14 juin 2011
Existant
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
exemples : mots-clés, INA
Alain Simac-Lejeune 3Soutenance de thèse de doctorat - 14 juin 2011
Existant
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes :- long- subjectif- liée à la langue
exemples : mots-clés, INA
Alain Simac-Lejeune 3Soutenance de thèse de doctorat - 14 juin 2011
Existant
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes :- long- subjectif- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Alain Simac-Lejeune 3Soutenance de thèse de doctorat - 14 juin 2011
Existant
machine learning
Etape 1Création base apprentissage
Etape 2Classification supervisée
Etape Manuelle Etape Automatique
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes :- long- subjectif- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Alain Simac-Lejeune 3Soutenance de thèse de doctorat - 14 juin 2011
Existant
machine learning
Etape 1Création base apprentissage
Etape 2Classification supervisée
Etape Manuelle Etape Automatique
annotation manuelleannotation collaborative
visionnage actifannotation assistée
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes :- long- subjectif- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Alain Simac-Lejeune 3Soutenance de thèse de doctorat - 14 juin 2011
Existant
machine learning
Etape 1Création base apprentissage
Etape 2Classification supervisée
Etape Manuelle Etape Automatique
annotation manuelleannotation collaborative
visionnage actifannotation assistée
AdaBoostSVMHMM
k-plus proches voisins
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes :- long- subjectif- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Alain Simac-Lejeune 3Soutenance de thèse de doctorat - 14 juin 2011
Existant
machine learning
Etape 1Création base apprentissage
Etape 2Classification supervisée
Etape Manuelle Etape Automatique
annotation manuelleannotation collaborative
visionnage actifannotation assistée
AdaBoostSVMHMM
k-plus proches voisins
/ 43
constitution de la base d’apprentissage : par annotation manuelle
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
INDEXATION MANUELLE
problèmes :- long- subjectif- liée à la langue
INDEXATION AUTOMATIQUE
exemples : mots-clés, INA
Alain Simac-Lejeune 4Soutenance de thèse de doctorat - 14 juin 2011
Approche proposéeconcept = élément de contenu de niveau sémantique élevé
par exemple, concept dans la suite : ‘courir’On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 4Soutenance de thèse de doctorat - 14 juin 2011
Approche proposéeconcept = élément de contenu de niveau sémantique élevé
par exemple, concept dans la suite : ‘courir’On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
/ 43
notre approche : sélectionner des segments vidéos qui correspondent à un concept
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 4Soutenance de thèse de doctorat - 14 juin 2011
Approche proposéeconcept = élément de contenu de niveau sémantique élevé
par exemple, concept dans la suite : ‘courir’On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
annotation d’une base plus petite
/ 43
notre approche : sélectionner des segments vidéos qui correspondent à un concept
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 4Soutenance de thèse de doctorat - 14 juin 2011
Approche proposéeconcept = élément de contenu de niveau sémantique élevé
par exemple, concept dans la suite : ‘courir’On souhaite construire une base d’apprentissage présentant le concept ‘courir’ ?
oui peut-être non
annotation d’une base plus petite
/ 43
notre approche : sélectionner des segments vidéos qui correspondent à un concept
=> construction de la base d’apprentissage
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
MODELISATION
Structurationde la base
Modèles
Expert en Traitement d’Images
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
Phase ‘offline’
MODELISATION
Structurationde la base
Modèles
Expert en Traitement d’Images
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
Phase ‘offline’
MODELISATION
Structurationde la base
Modèles
Expert en Traitement d’Images
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
Phase ‘offline’
MODELISATION
Structurationde la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extractionde segments vidéo
Modèle de concept
Interactions par QR
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
Phase ‘offline’
MODELISATION
Structurationde la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extractionde segments vidéo
Modèle de concept
Interactions par QR
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
Phase ‘offline’
MODELISATION
Structurationde la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extractionde segments vidéo
Modèle de concept
Interactions par QR
ExpertApplicatif
VALIDATION
Validation
Prototypes
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
Phase ‘offline’
MODELISATION
Structurationde la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extractionde segments vidéo
Modèle de concept
Interactions par QR
ExpertApplicatif
VALIDATION
Validation
Prototypes
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 5Soutenance de thèse de doctorat - 14 juin 2011
Système proposé
OBJECTIF : faciliter la construction de la base d'apprentissage
EXTRACTION
Extractiond’attributs
Attributs
Phase ‘offline’ Phase interactive
MODELISATION
Structurationde la base
Modèles
Expert en Traitement d’Images
DEFINITION
Extractionde segments vidéo
Modèle de concept
Interactions par QR
ExpertApplicatif
VALIDATION
Validation
Prototypes
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 6Soutenance de thèse de doctorat - 14 juin 2011
Plan de la présentation
Extractiond’attributs
Structurationde la base
Extractionde segments vidéo
Attributs
ModèlesModèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
ExpertApplicatif
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 7Soutenance de thèse de doctorat - 14 juin 2011
Informations bas niveau
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Image compensée Flot optique Lignes (Hough) SIP STIP
Alain Simac-Lejeune 7Soutenance de thèse de doctorat - 14 juin 2011
Informations bas niveau
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Image compensée Flot optique Lignes (Hough) SIP STIP
SIP : Spatial Interest Points - Points d’intérêt spatiaux (statiques)STIP : Spatio-Temporal Interest Points - Points d’intérêt spatio-temporels (dynamiques)
Alain Simac-Lejeune 7Soutenance de thèse de doctorat - 14 juin 2011
Informations bas niveau
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Image compensée Flot optique Lignes (Hough) SIP STIP
SIP : Spatial Interest Points - Points d’intérêt spatiaux (statiques)STIP : Spatio-Temporal Interest Points - Points d’intérêt spatio-temporels (dynamiques)
D’autres opérateurs mis en place et utilisés : couleurs dominantes, contraste, luminance, forme/taille/position des objets
Alain Simac-Lejeune 8Soutenance de thèse de doctorat - 14 juin 2011
Attributs
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 8Soutenance de thèse de doctorat - 14 juin 2011
Attributs
Attributs plan Attributs image Attributs objet
type caméra(fixe ou mobile)
orientation camérazoom caméra
nombre de lignesnombre de SIP
nombre de STIPintensité du flot optique
orientation du flot optique
taille objetposition verticale
position horizontalenombre de SIP
nombre de STIPintensité du flot optique
compaciténombre d’objets
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 8Soutenance de thèse de doctorat - 14 juin 2011
Attributs
Attributs plan Attributs image Attributs objet
type caméra(fixe ou mobile)
orientation camérazoom caméra
nombre de lignesnombre de SIP
nombre de STIPintensité du flot optique
orientation du flot optique
taille objetposition verticale
position horizontalenombre de SIP
nombre de STIPintensité du flot optique
compaciténombre d’objets
exemple : compacité (0-1)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 9Soutenance de thèse de doctorat - 14 juin 2011
Point d’intérêt : définition
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 9Soutenance de thèse de doctorat - 14 juin 2011
Point d’intérêt : définition
/ 43
une couleur
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 9Soutenance de thèse de doctorat - 14 juin 2011
Point d’intérêt : définition
/ 43
une couleur
un contour
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 9Soutenance de thèse de doctorat - 14 juin 2011
Point d’intérêt : définition
/ 43
une couleur
un contour
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 9Soutenance de thèse de doctorat - 14 juin 2011
Point d’intérêt : définition
/ 43
une couleur
un contour
notion de zone intéressante ou d’intérêt
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 9Soutenance de thèse de doctorat - 14 juin 2011
Point d’intérêt : définition
/ 43
une couleur
un contour
notion de zone intéressante ou d’intérêt
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 9Soutenance de thèse de doctorat - 14 juin 2011
Point d’intérêt : définition
zone où le gradient varie dans plusieurs directions
/ 43
une couleur
un contour
notion de zone intéressante ou d’intérêt
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 9Soutenance de thèse de doctorat - 14 juin 2011
Point d’intérêt : définition
intérêt : résume l’information utile en quelques points
zone où le gradient varie dans plusieurs directions
/ 43
une couleur
un contour
notion de zone intéressante ou d’intérêt
un coin
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 10Soutenance de thèse de doctorat - 14 juin 2011
Points d’intérêt spatio-temporels
Matrice du filtre Hessian-Laplace
Critère de saillance
Extrema locaux positifssaillance > seuil
[ref] : On space-time interest points. International Journal of Computer Vision, Ivan Laptev, 2005.
/ 43
Extension spatio-temporelle des points d’intérêt
Filtrage gaussien spatial et temporel
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 11Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des STIP : intérêt / saillance
[ref] : Relevance of Interest Points for Eye Position Prediction on videos, Simac-Lejeune, Marat, Pellerin, Lambert, Rombaut, Guyader, ICVS, 2009
comparaison à l’aide d’une métrique (adaptée à la saillance)324 plans de 1 à 3 secondes, 50 personnes
points d’impact
Eye-trackerimpact = zone rouge
cartes de saillance
a) image originaleb) saillance statiquec) saillance dynamique
carte d’intérêt et points d’intérêt
STIP
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 12Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des STIP : résultats
STIP pertinents : mouvement rapide et désordonnéSIP pertinents : visage et main
Mouvement de foule : pas de corrélation
/ 43
[ref] : Relevance of Interest Points for Eye Position Prediction on videos, Simac-Lejeune, Marat, Pellerin, Lambert, Rombaut, Guyader, ICVS, 2009
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 13Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des STIP : détection de changements
[ref] : Points d’intérêt spatio-temporels pour la détection de mouvement dans les vidéos, Simac-Lejeune, Rombaut, Lambert, MajecSTIC, 2010
2 courbes :- bleue : instantanée- rouge : lissée
base de 125 séquences d’athlétisme
précision moyenne 0.87rappel moyen 0.86
(tolérance 3 images)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 14Soutenance de thèse de doctorat - 14 juin 2011
Plan de la présentation
Extractiond’attributs
Structurationde la base
Extractionde segments vidéo
Attributs
ModèlesModèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
ExpertApplicatif
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 15Soutenance de thèse de doctorat - 14 juin 2011
Nécessité de la modélisation
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 16Soutenance de thèse de doctorat - 14 juin 2011
Modèle de briques
1 modèle de brique basique = 1 attribut + 1 propriétéexemple : compacité-faible = compacité + intervalle[0;0,4]
1 attribut => n modèles de briques basiquesexemple : compacité - 3 briques (faible / moyenne / forte)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 17Soutenance de thèse de doctorat - 14 juin 2011
Structuration en briques
[ref] : Spatio-Temporal block model for video indexation assistance, Simac-Lejeune, Rombaut, Lambert, KDIR, 2010
suivi d’une variable dans le temps=> segmentation temporellesegment cohérent = briques
modèle brique basique ‘compacité’- faible (0 à 0,4)- moyenne (0,4 à 0,6)- forte (0,6 à 1,0)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 18Soutenance de thèse de doctorat - 14 juin 2011
Opérateurs
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 18Soutenance de thèse de doctorat - 14 juin 2011
Opérateursconstruction de modèle de briques élaborées par combinaison
de modèle de briques
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 18Soutenance de thèse de doctorat - 14 juin 2011
Opérateursconstruction de modèle de briques élaborées par combinaison
de modèle de briques
/ 43
Exemples4 types d’opérateurs
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 18Soutenance de thèse de doctorat - 14 juin 2011
Opérateursconstruction de modèle de briques élaborées par combinaison
de modèle de briques
/ 43
Exemples4 types d’opérateurs
Algèbre temporelle(relations de Allen) x puis y x suivi de y x pendant y
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 18Soutenance de thèse de doctorat - 14 juin 2011
Opérateursconstruction de modèle de briques élaborées par combinaison
de modèle de briques
/ 43
Exemples4 types d’opérateurs
Algèbre temporelle(relations de Allen) x puis y x suivi de y x pendant y
‘INterval and DUration’INDU (<,>,=)
x < y
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 18Soutenance de thèse de doctorat - 14 juin 2011
Opérateursconstruction de modèle de briques élaborées par combinaison
de modèle de briques
/ 43
Exemples4 types d’opérateurs
Algèbre temporelle(relations de Allen) x puis y x suivi de y x pendant y
‘INterval and DUration’INDU (<,>,=)
x < y
Opérateurs logiques(et, ou exclusif) x et y
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 18Soutenance de thèse de doctorat - 14 juin 2011
Opérateursconstruction de modèle de briques élaborées par combinaison
de modèle de briques
/ 43
Exemples4 types d’opérateurs
Algèbre temporelle(relations de Allen) x puis y x suivi de y x pendant y
‘INterval and DUration’INDU (<,>,=)
x < y
Opérateurs logiques(et, ou exclusif) x et y
nAutres opérateurs (*, ) (x suivi de y)*
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 19Soutenance de thèse de doctorat - 14 juin 2011
Exemple de construction d’un modèle de brique élaborée
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 19Soutenance de thèse de doctorat - 14 juin 2011
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases
compacité faible
compacité moyenne
compacité forte
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 19Soutenance de thèse de doctorat - 14 juin 2011
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases
compacité faible
compacité moyenne
compacité forte
opérateurs
suivi de ou exclusif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 19Soutenance de thèse de doctorat - 14 juin 2011
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases
compacité faible
compacité moyenne
compacité forte
opérateurs
suivi de ou exclusif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 19Soutenance de thèse de doctorat - 14 juin 2011
Exemple de construction d’un modèle de brique élaborée
modèle de briques de bases
compacité faible
compacité moyenne
compacité forte
opérateurs
suivi de ou exclusif
définition d’un modèle de brique élaborée alternance de modèles de briques de compacité
(une seule à la fois)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 20Soutenance de thèse de doctorat - 14 juin 2011
Plan de la présentation
Extractiond’attributs
Structurationde la base
Extractionde segments vidéo
Attributs
ModèlesModèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
ExpertApplicatif
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 21Soutenance de thèse de doctorat - 14 juin 2011
But du système
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 21Soutenance de thèse de doctorat - 14 juin 2011
But du système problème
comment définir un concept à partir des briques extraites ?
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 21Soutenance de thèse de doctorat - 14 juin 2011
But du système problème
comment définir un concept à partir des briques extraites ?
/ 43
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 21Soutenance de thèse de doctorat - 14 juin 2011
But du système problème
comment définir un concept à partir des briques extraites ?
système de Q/R
/ 43
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 21Soutenance de thèse de doctorat - 14 juin 2011
But du système problème
comment définir un concept à partir des briques extraites ?
système de Q/R
Celui qui connaît les modèles de briques
construit
Expert en Traitement d’Images
/ 43
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 21Soutenance de thèse de doctorat - 14 juin 2011
But du système problème
comment définir un concept à partir des briques extraites ?
système de Q/R
Celui qui connaît les modèles de briques
construit
Expert en Traitement d’Images
Celui qui connaît l’application
utilise
ExpertApplicatif
/ 43
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 21Soutenance de thèse de doctorat - 14 juin 2011
But du système problème
comment définir un concept à partir des briques extraites ?
résultat du système : modèle de concept
système de Q/R
Celui qui connaît les modèles de briques
construit
Expert en Traitement d’Images
Celui qui connaît l’application
utilise
ExpertApplicatif
/ 43
=> récupérer la connaissance de l’expert applicatif
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 22Soutenance de thèse de doctorat - 14 juin 2011
Exemple
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 22Soutenance de thèse de doctorat - 14 juin 2011
Exemple
/ 43
Question 1 : quel est le type d’activité du concept à définir ?Réponses : communication / déplacement / mouvement / ...
=> réponses active ou désactive des thèmes de questionsréponse : mouvement
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 22Soutenance de thèse de doctorat - 14 juin 2011
Exemple
/ 43
Question 1 : quel est le type d’activité du concept à définir ?Réponses : communication / déplacement / mouvement / ...
=> réponses active ou désactive des thèmes de questionsréponse : mouvement
Question 2 : quelle est la vitesse du mouvement ?Réponses : lent / plutôt lent / assez rapide / rapide
=> réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapideréponse : rapide
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 22Soutenance de thèse de doctorat - 14 juin 2011
Exemple
/ 43
Question 1 : quel est le type d’activité du concept à définir ?Réponses : communication / déplacement / mouvement / ...
=> réponses active ou désactive des thèmes de questionsréponse : mouvement
Question 2 : quelle est la vitesse du mouvement ?Réponses : lent / plutôt lent / assez rapide / rapide
=> réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapideréponse : rapide
...
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 22Soutenance de thèse de doctorat - 14 juin 2011
Exemple
/ 43
Question 1 : quel est le type d’activité du concept à définir ?Réponses : communication / déplacement / mouvement / ...
=> réponses active ou désactive des thèmes de questionsréponse : mouvement
Question 2 : quelle est la vitesse du mouvement ?Réponses : lent / plutôt lent / assez rapide / rapide
=> réponses reliées à l’intensité du flot optique, rapide = sélection fo-rapideréponse : rapide
...
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
n
Question 12 : combien y a-t-il de phases distinctes ?Réponses : 1 / 2 / 3 / 4 ou plus
réponse : 3=> nombre de phases : sélection de l’opérateur m ‘suivi de’, et de (nombre)
«y a-t-il plusieurs phases ?» et de la réponse oui
Alain Simac-Lejeune 23Soutenance de thèse de doctorat - 14 juin 2011
Définition et fonctionnement
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 23Soutenance de thèse de doctorat - 14 juin 2011
Définition et fonctionnement
Question
Réponses
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 23Soutenance de thèse de doctorat - 14 juin 2011
Définition et fonctionnement
Modèle de brique(s)
Question
Réponses
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 23Soutenance de thèse de doctorat - 14 juin 2011
Définition et fonctionnement
Opérateur(s)Modèle de brique(s)
Question
Réponses
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 23Soutenance de thèse de doctorat - 14 juin 2011
Définition et fonctionnement
NavigationOpérateur(s)Modèle de brique(s)
Question
Réponses
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 23Soutenance de thèse de doctorat - 14 juin 2011
Définition et fonctionnement
1 réponse = 1 nouvelle informationpour la définition du concept
NavigationOpérateur(s)Modèle de brique(s)
Question
Réponses
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 24Soutenance de thèse de doctorat - 14 juin 2011
Liens : briques et opérateurs
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 24Soutenance de thèse de doctorat - 14 juin 2011
Liens : briques et opérateurs
/ 43
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 24Soutenance de thèse de doctorat - 14 juin 2011
Liens : briques et opérateurs
/ 43
réponse A réponse Créponse B réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 24Soutenance de thèse de doctorat - 14 juin 2011
Liens : briques et opérateurs
/ 43
sélection des modèlesde briques no-1 et c-f
réponse A réponse Créponse B réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 24Soutenance de thèse de doctorat - 14 juin 2011
Liens : briques et opérateurs
/ 43
sélection des modèlesde briques no-1 et c-f
sélection des modèlesde briques no-1 et c-f
et liaison m
réponse A réponse Créponse B réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 24Soutenance de thèse de doctorat - 14 juin 2011
Liens : briques et opérateurs
/ 43
sélection des modèlesde briques no-1 et c-f
sélection des modèlesde briques no-1 et c-f
et liaison msélection de la liaison m
réponse A réponse Créponse B réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 24Soutenance de thèse de doctorat - 14 juin 2011
Liens : briques et opérateurs
/ 43
sélection des modèlesde briques no-1 et c-f
sélection des modèlesde briques no-1 et c-f
et liaison msélection de la liaison m
ne sais pas
sélection de plusieurs modèles de briquesavec un ou exclusif
réponse A réponse Créponse B réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 24Soutenance de thèse de doctorat - 14 juin 2011
Liens : briques et opérateurs
/ 43
sélection des modèlesde briques no-1 et c-f
sélection des modèlesde briques no-1 et c-f
et liaison msélection de la liaison m
ne sais pas
sélection de plusieurs modèles de briquesavec un ou exclusif
questioninutile
sélection d’aucun modèleni opérateur mais
application d’une règle / modèle fo
réponse A réponse Créponse B réponse D réponse E
question
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 25Soutenance de thèse de doctorat - 14 juin 2011
Structuration
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 25Soutenance de thèse de doctorat - 14 juin 2011
Structuration
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 25Soutenance de thèse de doctorat - 14 juin 2011
Structuration
structuration arborescenteordonnancement des questions- par thème- séquentiel et/ou aléatoire
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 25Soutenance de thèse de doctorat - 14 juin 2011
Structuration
structuration arborescenteordonnancement des questions- par thème- séquentiel et/ou aléatoire
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
question initiale
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 25Soutenance de thèse de doctorat - 14 juin 2011
Structuration
structuration arborescenteordonnancement des questions- par thème- séquentiel et/ou aléatoire
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
question initialethème 1
questions 1.x
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 25Soutenance de thèse de doctorat - 14 juin 2011
Structuration
structuration arborescenteordonnancement des questions- par thème- séquentiel et/ou aléatoire
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
question initialethème 1
questions 1.x
thème 2
questions 2.x
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 25Soutenance de thèse de doctorat - 14 juin 2011
Structuration
structuration arborescenteordonnancement des questions- par thème- séquentiel et/ou aléatoire
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
question initialethème 1
questions 1.x
thème 2
questions 2.x
thème 3
questions 3.x
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 25Soutenance de thèse de doctorat - 14 juin 2011
Structuration
structuration arborescenteordonnancement des questions- par thème- séquentiel et/ou aléatoire
/ 43
problème : comment choisir la question suivante pour maximiser l’information apportée, garder la cohérence et être certain de son intérêt
question initialethème 1
questions 1.x
thème 2
questions 2.x
thème 3
questions 3.x
Q 1.1 Q 1.2 Q 1.3 Q 1.4 Q 1.7
Q 1.5
Q 1.6
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 26Soutenance de thèse de doctorat - 14 juin 2011
automatique : quand il n’y a plus de questions à posermanuelle : l’utilisateur souhaite s’arrêter
résultat : un modèle de concept
exemple : définition de la marche
marche = (rectiligne) ET (lent) ET REPETITION(compacité-faible PUIS compacité-moyenne)
Résultat final de la phase de QR
/ 43
{fo-(1)} d fo-io-lent d {c-f + c-m,m}
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 27Soutenance de thèse de doctorat - 14 juin 2011
Plan de la présentation
Extractiond’attributs
Structurationde la base
Extractionde segments vidéo
Attributs
ModèlesModèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
ExpertApplicatif
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système QRbase de donnéesde séquences
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système QRbase de donnéesde séquences
ExpertApplicatif
Définition du concept
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système QRbase de donnéesde séquences
ExpertApplicatif
Définition du concept
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système QRbase de donnéesde séquences
ExpertApplicatif
Définition du concept
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système de requête
système QRbase de donnéesde séquences
ExpertApplicatif
Définition du concept
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système de requête
système QRbase de donnéesde séquences
ExpertApplicatif
Définition du concept
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système de requête
système QRbase de donnéesde séquences
ExpertApplicatif
Définition du concept
/ 43
ExpertApplicatif
prototypes potentiellementintéressants
validation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système de requête
système QRbase de donnéesde séquences
ExpertApplicatif
Définition du concept
/ 43
ExpertApplicatif
prototypes potentiellementintéressants
validation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système de requête
système QRbase de donnéesde séquences
ExpertApplicatif
système d’analyse
Définition du concept
/ 43
ExpertApplicatif
prototypes potentiellementintéressants
validation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système de requête
système QRbase de donnéesde séquences
ExpertApplicatif
système d’analyse
Définition du concept
/ 43
ExpertApplicatif
prototypes potentiellementintéressants
validation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système de requête
système QRbase de donnéesde séquences
ExpertApplicatif
système d’analyse
Définition du concept
/ 43
ExpertApplicatif
prototypes potentiellementintéressants
validation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 28Soutenance de thèse de doctorat - 14 juin 2011
Recherche de prototypes et rétroaction
système de requête
système QRbase de donnéesde séquences
ExpertApplicatif
système d’analyse
Définition du concept Définition finaledu concept
/ 43
ExpertApplicatif
prototypes potentiellementintéressants
validation
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 29Soutenance de thèse de doctorat - 14 juin 2011
Validation : algorithme de correction
prototypes validés
algorithme de recherche de ‘modèle’
définition initiale briques
=
ajout de briques et d’opérateursajout d’informations de séquentialité
modification opérateurs
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 30Soutenance de thèse de doctorat - 14 juin 2011
Plan de la présentation
Extractiond’attributs
Structurationde la base
Extractionde segments vidéo
Attributs
ModèlesModèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
ExpertApplicatif
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
EVALUATION
Alain Simac-Lejeune 31Soutenance de thèse de doctorat - 14 juin 2011
Base de données
40 Go de données, 10000 plans, 12 heures
9 bases : synthèse, athlétisme, saillance, animation, laboratoire (normal et HD) ainsi que les bases UCF (Sports et 50 ) et KTHrésolution de 160x120 à 1920 x1080 - moyenne 300x300durée de 45 à 250 images (2 à 10 sec) - moyenne 100 images
thèmes : sports, télévision, animation
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 32Soutenance de thèse de doctorat - 14 juin 2011
Données du système
Extractiond’attributs
Structurationde la base
Extractionde segments vidéo
Attributs
ModèlesModèle
de concept
Interactions par QR
6 extracteurs25 attributs
60 modèles de briques19 opérateurs de combinaison
32 questions (108 réponses)
6 thèmes :communication, mouvement,
personnage, objet, déplacementet environnement
40 Go12 heures
EXTRACTION MODELISATION DEFINITION
Expert en Traitement d’Images
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 33Soutenance de thèse de doctorat - 14 juin 2011
Evaluation en tempsBase complète (10000 séquences, 12 heures, 1 concept)Hypothèse :1. une annotation manuelle est réalisée à vitesse de lecture x4
définition d’un concept
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 34Soutenance de thèse de doctorat - 14 juin 2011
Evaluation en tempsBase complète (10000 séquences, 12 heures, 70 concepts)Hypothèses :1. une annotation manuelle est réalisée à vitesse de lecture x42. un utilisateur ne peut annoter simultanément 5 concepts
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
définition de 70 concepts
Alain Simac-Lejeune 35Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des définitions et de l’algorithmebase composée de 1000 plans (25 par actions)5 actions : marcher/courir/plonger/sauter/skier
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 35Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des définitions et de l’algorithmebase composée de 1000 plans (25 par actions)5 actions : marcher/courir/plonger/sauter/skier
marcher
nombre de plans
courir plonger sauter skier
5
10
15
20
25
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 35Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des définitions et de l’algorithmebase composée de 1000 plans (25 par actions)5 actions : marcher/courir/plonger/sauter/skier
marcher
nombre de plans
courir plonger sauter skier
5
10
15
20
25
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
avec un modèle, plans sélectionnés par le système
avec un modèle, plans VALIDES sélectionnés par le système
Alain Simac-Lejeune 35Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des définitions et de l’algorithmebase composée de 1000 plans (25 par actions)5 actions : marcher/courir/plonger/sauter/skier
marcher
nombre de plans
courir plonger sauter skier
5
10
15
20
25
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
avec un modèle, plans sélectionnés par le système
avec un modèle CORRIGE, plans sélectionnés par le systèmeavec un modèle, plans VALIDES sélectionnés par le système
Alain Simac-Lejeune 35Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des définitions et de l’algorithmebase composée de 1000 plans (25 par actions)5 actions : marcher/courir/plonger/sauter/skier
marcher
nombre de plans
courir plonger sauter skier
5
10
15
20
25
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
avec un modèle, plans sélectionnés par le système
avec un modèle CORRIGE, plans sélectionnés par le systèmeavec un modèle, plans VALIDES sélectionnés par le système
avec un modèle CORRIGE, plans VALIDES sélectionnés par le système
Alain Simac-Lejeune 35Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des définitions et de l’algorithmebase composée de 1000 plans (25 par actions)5 actions : marcher/courir/plonger/sauter/skier
marcher
nombre de plans
courir plonger sauter skier
5
10
15
20
25
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
avec un modèle, plans sélectionnés par le système
avec un modèle CORRIGE, plans sélectionnés par le systèmeavec un modèle, plans VALIDES sélectionnés par le système
avec un modèle CORRIGE, plans VALIDES sélectionnés par le système
Alain Simac-Lejeune 35Soutenance de thèse de doctorat - 14 juin 2011
Evaluation des définitions et de l’algorithmebase composée de 1000 plans (25 par actions)5 actions : marcher/courir/plonger/sauter/skier
Moyenne
Précision0,49 => 0,87
Rappel0,46 => 0,83
+38% VP-50% FP
marcher
nombre de plans
courir plonger sauter skier
5
10
15
20
25
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
avec un modèle, plans sélectionnés par le système
Alain Simac-Lejeune 36Soutenance de thèse de doctorat - 14 juin 2011
Performances de reconnaissance
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
marcher trottiner courir boxer applaudir battre
marcher 0.97 0.03 0.00 0.00 0.00 0.00
trottiner 0.10 0.85 0.05 0.00 0.00 0.00
courir 0.01 0.04 0.95 0.00 0.00 0.00
boxer 0.00 0.00 0.00 0.97 0.00 0.03
applaudir 0.00 0.00 0.00 0.00 1.00 0.00
battre 0.00 0.00 0.00 0.03 0.04 0.93taux de
reconnaissance moyen 0.94
1ère sous-base de 1000 plansdéfinition
2ème sous-base de 1000 plansrecherche
Alain Simac-Lejeune 36Soutenance de thèse de doctorat - 14 juin 2011
Performances de reconnaissance
Base KTH : 2000 plans sur 6 concepts (courir, trottiner, marcher, boxer, applaudir, battre)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
marcher trottiner courir boxer applaudir battre
marcher 0.97 0.03 0.00 0.00 0.00 0.00
trottiner 0.10 0.85 0.05 0.00 0.00 0.00
courir 0.01 0.04 0.95 0.00 0.00 0.00
boxer 0.00 0.00 0.00 0.97 0.00 0.03
applaudir 0.00 0.00 0.00 0.00 1.00 0.00
battre 0.00 0.00 0.00 0.03 0.04 0.93taux de
reconnaissance moyen 0.94
1ère sous-base de 1000 plansdéfinition
2ème sous-base de 1000 plansrecherche
Alain Simac-Lejeune 37Soutenance de thèse de doctorat - 14 juin 2011
Bilan des évaluations
Diminue le temps d’annotation - test 1Algorithme de correction du modèle - test 2Plutôt performant en termes de reconnaissance - test 3
Avantages- rapide- enrichissement collaboratif- possibilité d’ajout de concepts, d’ajout de séquencesInconvénients- difficulté de structurer la connaissance a priori(effectuée par l’expert en traitement d’images)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 38Soutenance de thèse de doctorat - 14 juin 2011
Plan de la présentation
Extractiond’attributs
Structurationde la base
Extractionde segments vidéo
Attributs
ModèlesModèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
ExpertApplicatif
ExpertApplicatif
/ 43
Logiciel FX Logiciel BRIK
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
DEMONSTRATION
Alain Simac-Lejeune 39Soutenance de thèse de doctorat - 14 juin 2011
Démonstration
Logiciel FX (Features eXtraction)
développement en C++bibliothèque Nokia TrollTech Qt
bibliothèque Intel OpenCV
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 40Soutenance de thèse de doctorat - 14 juin 2011
DémonstrationLogiciel BRIK
(BRIk Knowloedge manager)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
développement en C++bibliothèque Nokia TrollTech Qt
bibliothèque Intel OpenCV
Alain Simac-Lejeune 40Soutenance de thèse de doctorat - 14 juin 2011
DémonstrationLogiciel BRIK
(BRIk Knowloedge manager)
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
développement en C++bibliothèque Nokia TrollTech Qt
bibliothèque Intel OpenCV
Alain Simac-Lejeune 41Soutenance de thèse de doctorat - 14 juin 2011
Plan de la présentation
Extractiond’attributs
Structurationde la base
Extractionde segments vidéo
Attributs
ModèlesModèle
de concept
Interactions par QR
Validation
Prototypes
Phase ‘offline’ Phase interactive
EXTRACTION MODELISATION DEFINITION VALIDATION
Expert en Traitement d’Images
ExpertApplicatif
ExpertApplicatif
/ 43
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
CONCLUSIONS/PERSPECTIVES
Alain Simac-Lejeune 42Soutenance de thèse de doctorat - 14 juin 2011
Conclusions
/ 43
Système de création d’une base d’apprentissage3 éléments : extraction / modélisation / questions-réponses
Validation d’une démarche : enrichissement au fil des utilisations
Conclusion : intervention limitée permet d’atteindre des performances d’un niveau proche d’une annotation
manuelle classique
Système de QR : extraction de connaissances et liaison=> problème des liaisons et réponses données
- réduit le temps d’annotation- qualité 75% (précision) reconnaissance 90%
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 43 / 43Soutenance de thèse de doctorat - 14 juin 2011
Perspectives
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
Alain Simac-Lejeune 43 / 43Soutenance de thèse de doctorat - 14 juin 2011
Perspectives
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
mode collaboratif
définitionsenrichissement
Alain Simac-Lejeune 43 / 43Soutenance de thèse de doctorat - 14 juin 2011
Perspectives
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
mode collaboratif
définitionsenrichissement
modifications du système
des définitions des modèlesdes liaisons modèles/réponses
formulation/généricité Q
Alain Simac-Lejeune 43 / 43Soutenance de thèse de doctorat - 14 juin 2011
Perspectives
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
mode collaboratif
définitionsenrichissement
modifications du système
des définitions des modèlesdes liaisons modèles/réponses
formulation/généricité Q
mécanismes d’améliorations
relâchement des contraintesamélioration QR (ajout,suppression)
Alain Simac-Lejeune 43 / 43Soutenance de thèse de doctorat - 14 juin 2011
Perspectives
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
+ ajouts (attributs, modèles de briques, bases, ...)
mode collaboratif
définitionsenrichissement
modifications du système
des définitions des modèlesdes liaisons modèles/réponses
formulation/généricité Q
mécanismes d’améliorations
relâchement des contraintesamélioration QR (ajout,suppression)
Alain Simac-Lejeune 43 / 43Soutenance de thèse de doctorat - 14 juin 2011
Perspectives
Introduction --- Extraction --- Modélisation --- Définition --- Validation --- Evaluation --- Démonstration --- Conclusion
+ ajouts (attributs, modèles de briques, bases, ...)
mode collaboratif
définitionsenrichissement
modifications du système
des définitions des modèlesdes liaisons modèles/réponses
formulation/généricité Q
mécanismes d’améliorations
relâchement des contraintesamélioration QR (ajout,suppression)
+ indicateurs colorés et prise en compte position/durée
Alain Simac-Lejeune Soutenance de thèse de doctorat - 14 juin 2011
Merci de votre attention
Recommended