DEA de Sciences Cognitives 1 Le traitement automatique de la parole Comment reproduire les processus...

DEA de Sciences Cognitives 1

Le traitement automatiquede la parole

Comment reproduire les processus physiologiques et cognitifs humains?

Ivan Magrin-Chagnolleau, CNRS

Laboratoire Dynamique Du Langage, Lyonhttp://www.ddl.ish-lyon.cnrs.fr/

ivan@ieee.org

1. Introduction aux processus de la communication parlée

2. Analyse de la parole

3. Synthèse de la parole

4. Reconnaissance de la parole

5. Reconnaissance du locuteur

1. Introduction aux processus de la communication parlée

Quelques segments d’un signal

Quelques propriétés du signal de parole

• La parole est quasi-stationnaire

• La parole est 70% du temps(pseudo-)périodique(bruit ou silence le reste du temps)

• La parole est un signal large bande(il remplit toute la largeur de bande)

• La parole est un signal à bande limitée(0-8000 Hz essentiellement)

Anatomie de l’appareil vocal (1)

Fonctionnement acoustique de l’appareil vocal

• Système acoustique = excitateur + résonateur

• Trois modes de fonctionnement– Excitation glottique du conduit vocal– Excitation du conduit vocal en un point de

constriction par un bruit d’écoulement– Excitation du conduit vocal par une impulsion

acoustique

Transcription phonétique du français

Description acoustique de la parole

Voyelles orales françaises

Triangle vocalique

Représentation acoustique (ex. 1)

Représentation acoustique (ex. 2)

Grille polaire de Maeda

Coupes saggitales des voyelles

Fonctions d’aires des voyelles

Anatomie de l’oreille

Les limites de l’oreille

• L’oreille est à bande limitée

• L’oreille est fausse sur des sons purs

• L’oreille n’est pas également sensible

• L’oreille a une résolution en temps limitée

• L’oreille a une résolution en fréquence limitée

2. Analyse de la parole

Objectifs de l’analyse de parole

Extraire des paramètres du signal de parole

afin de :• Retirer l’information non pertinente• Réduire la redondance• Obtenir une représentation plus compacte• Atteindre un niveau d’abstraction plus élevé• Définir des mesures de ressemblance simples

Principes

• Prétraitement

• Découpage en trames– Taille des trames– Décalage entre trames

• Fenêtrage

• Extraction de paramètres acoustiques

Principe d’une analyse acoustique

Paramètres acoustiques non spectraux

• Energie

• Fréquence fondamentale

• Taux de passage par zéro du signal

• Taux de passage par zéro de la dérivée du signal

L’enveloppe spectrale

Les approches conventionnelles

visent à extraire des caractéristiques

de l’enveloppe spectrale.

• Analyse par banc de filtres

• Analyse par prédiction linéaire

• Coefficients cepstraux

Analyse par banc de filtres (1)

Analyse par prédiction linéaire (1)

Modélisation de la parole sous forme

d’un filtre de prédiction linéaire

Filtre de

prédiction linéaire

e(t) s(t)

teitsap

Analyse par prédiction linéaire (2)

Coefficients cepstraux

• On applique une transformée de Fourier inverse sur le module du spectre logarithmique.

• Les premiers coefficients caractérisent l’enveloppe spectrale.

L’information dynamique

• On représente l’information dynamique par la dérivée première (vitesse) et la dérivée seconde (accélération) des paramètres cepstraux→ paramètres deltas et deltas-deltas

3. Synthèse de la parole

La synthèse, pour quoi faire ?• Services de télécommunications

– Rendre toute information écrite disponible via le téléphone (horaires de cinéma, horaires de train, informations routières, état d’un compte en banque, dernière facture téléphonique, etc.)

• Applications en bureautique– Terminaux parlants, lecture des emails par la voix, etc.

• Applications dans les transports– Information dans les automobiles, aide à l’exploitation des trains, lecture de

cadrans dans les avions, etc.

• Aide aux personnes handicapées– Un handicapé peut s’exprimer par le biais d’un synthétiseur (cours du célèbre

astrophysicien Stephen Hawking)

• Apprentissage des langues étrangères– Dictionnaires électronique avec prononciation intégrée, logiciels

d’apprentissage des langues étrangères, traduction automatique, etc.

• Livres et jouets parlants– À l’usage des enfants en bas âge

• Communication naturelle avec la machine

Structure d’un système de synthèse

SYNTHESE DE LA PAROLE A PARTIR DU TEXTE

TRAITEMENT DULANGAGE NATUREL

Formalismes linguistiques

Moteurs d’inférenceInférences logiques

TRAITEMENT DUSIGNAL NUMERIQUE

Modèles mathématiques

AlgorithmesCalculs numériques

Texte ParolePhonèmes

Prosodie

Traitement du langage naturel

Pré-processeurAnalyseur

morphologique

Analyseur contextuel

Analyseur syntaxique- prosodique

Phonétiseur

Générateur de prosodie

Structurede

données

Phonèmes

Prosodie

Analyse morpho-syntaxique

Phonétisation (1)

Phonétisation (2)

Synthétiseur par prédiction linéaire

Synthétiseur à formants

Synthèse par règles (1)

Synthèse par règles (2)

Synthèse par concaténation d’unités

Qu’est-ce qu’un diphone ?

Concaténation de diphones

Prosodie : la « musique » de la parole

Exemples• ICP-Grenoble (F), 1993

• CNET-Lannion (F), 1993 (TD-PSOLA)

• KTH-Stockholm (S), 1993

• LAIP-Lausanne (CH), 1996 (MBR PSO)

• University-Mons (B), 1993 (LPC)

• University-Mons (B), 1993 (MBE)

• University-Mons (B), 1993 (MBR PSO)

• University-Mons (B), 1993 (TD PSO)

Liens Internet sur la synthèse

• http://tcts.fpms.ac.be/synthesis/mbrola.html• http://www.bell-labs.com/project/tts/#examples• http://www.cstr.ed.ac.uk/projects/festival/• http://www.research.att.com/projects/tts/

4. Reconnaissance de la parole

Objectifs

Transformer un signal de parole en :

• Texte (dictée vocale, transcription)

• Action (commande vocale, systèmes de dialogue)

• Information indexée (annotation, indexation)

Les sources de variabilité• Les facteurs intra-locuteurs :

co-articulation, variation dans la prononciation, etc.

• Les facteurs inter-locuteurs :physiologie, age, sexe, psychologie, familiarité avec l’application, etc.

• L’environnement :bruit, micro, canal de transmission, présence d’autres locuteurs, etc.

Variabilité intra- et inter-locuteur

Variabilité intra-locuteur

Typologie des systèmes

• Type de parole

• Taille du vocabulaire

• Niveau de dépendance par rapport aux locuteurs

• Environnement d’utilisation

• Profil des utilisateurs potentiels

Type de parole

• Mots isolés

• Mots connectés

• Détection de mots clés

• Parole contrainte

• Parole continue

• Parole spontanée

Taille du vocabulaire

• Quelques mots (5 – 50)

• Petit vocabulaire (50 – 500)

• Vocabulaire moyen (500 – 5000)

• Grand vocabulaire (5000 – 50000)

• Très grand vocabulaire (> 50000)

Dépendance au locuteur

• Dépendant du locuteur :le système fonctionne correctement avec un utilisateur particulier

Adaptation au locuteur =utilise quelques données spécifiquesd’un locuteur pour adapter le système

à une nouvelle voix

• Indépendant du locuteur :le système fonctionne avec n’importe quel utilisateur

Environnement d’utilisation

• Parole large-bande(ordinateur, etc.)

• Parole bande-étroite avec distorsion (téléphone, etc.)

• Environnement calme (bureau + micro-casque)

• Bruit de fond

Profil des utilisateurs potentiels

• Utilisation professionnelle par des spécialistes

• Grand public

• Entraîné / naïf

• Fréquent / occasionnel

• Utilité

• Coopération

Deux exemples

Dictée vocale• Parole continue

• Grand vocabulaire• Adaptation au locuteur

• Bureau+micro-casque• Utilisateurs

d’ordinateurs

Service téléphonique• Détection de mots

clés• Quelques mots• Indépendant du

locuteur• Parole téléphonique• Grand public

Système de reconnaissance de mots

Programmation dynamique (DTW)

meilleurchemin

),()Y,X( 2jid yx

Mot inconnu Y

Contraintes locales

Contraintes locales : exemple

Modèle de Markov caché : principe

Modèles de Markov cachés (HMM)

meilleurchemin

)S(Plog)Y,X(iXjy

Mot inconnu Y

Viterbi : exemple

Algorithme de Viterbi : exercice

Les trois composantes d’un système

• Les modèles acoustiques– Pour transformer des paramètres acoustiques

en phonèmes (ou parfois directement des mots)

• Le lexique– Pour transformer une suite de phonèmes en

• Le modèle de langage– Pour transformer une suite de mots en

phrases

Modèles acoustiques (1)

Modèles acoustiques (2)

Le mot « américain »

Modèles de langage• A un instant donné, tous les mots n’ont

pas la même probabilité de présence :– Le petit chat boit du …

• Grammaires probabilistes : toutes les phrases sont possibles mais avec des probabilités différentes

• Grammaires à états finis : partition binaire des séquences de mots en « séquences possibles » et « séquences impossibles »

Modèle acoustique + Modèle de langage

Performances

Recherche actuelle

5. Reconnaissance du locuteur

Définition de la RAL

Reconnaissance automatique du locuteur (RAL)

=reconnaître l’identité d’une personne à partir d’un enregistrement de sa voix à

l’aide d’une technique entièrement automatique, et donc reproductible.

Un domaine pluri-disciplinaire

traitement du signal

reconnaissance des formes

statistiques

probabilités

théorie de la décision phonétique

linguistique

ergonomie

théorie de l’informationS T

Typologie des tâches

• Identification du locuteur en ensemble fermé• Vérification du locuteur• Identification du locuteur en ensemble ouvert

• Suivi de locuteurs• Détection de changement de locuteur• Segmentation par locuteurs

• Classes de locuteurs• Adaptation au locuteur

Niveau de dépendance au texte

• Systèmes à mot de passe individuel, fixe• Systèmes à mot de passe commun, fixe• Systèmes à vocabulaire fixe (ordre des

mots variables)• Systèmes à texte imprédictible (imposé

par le système)• Systèmes dépendant d’un évènement

phonétique• Systèmes à texte totalement libre

Typologie des erreurs

• Identification du locuteur en ensemble fermé :– Mauvaise classification

NOMBRE DE LOCUTEURS• Vérification du locuteur :

– Fausse acceptation (non détection)– Faux rejet (fausse alarme)– EER (taux d’égale erreur)

SEUIL DE DECISION

Empreinte ou signature ?

• Motivations :– Caractéristiques physiologiques– Origine géographique– Contexte socioculturel

• Difficultés :– Non reproductibilité (état de santé, facteurs psychologiques,

état émotionnel, âge, etc.) dérive temporelle de la voix– Bruits ambiants, canal de transmission– Modifications intentionnelles (masquage, imitation)

→ pas d’empreinte vocalemais plutôt une signature vocale

Et l’homme ?

• L’homme n’est pas particulièrement bon pour ce type de tâche.

• Il faut beaucoup d’entraînement pour y arriver.• Même sur des voix familières, on a parfois des

difficultés.• C’est encore plus dur à travers le téléphone.• Quand c’est possible, on utilise plutôt le visage.

Les enjeux scientifiques de la RAL

• Quelles sont les informations utilisées par l’homme pour reconnaître une voix ?

• Faut-il utiliser les mêmes dans un système automatique ?

• Quelles sont les informations extractibles d’un enregistrement d’une voix ?

• Comment faire un modèle de locuteur ?

Comment reconnaître une personne ?

• Quelles informations ?– Spectrales (analyse acoustique)– Phonétiques (façon de prononcer les sons)– Idiolectales (façon d’utiliser les mots)– Prosodiques (intensité, hauteur, longueur)

• Comment les exploiter ?– Modèles statistiques– Réseaux de neurones– Réseaux bayésiens

Les enjeux applicatifs de la RAL

• Surtout vérification• 3 grandes familles :

– Applications sur site– Applications télécoms– Applications policières / judiciaires

• Mais aussi :– Organisation de l’information– Jeux– Etc.

Applications sur site La personne doit être physiquement présente en un lieu

précis- Serrure vocale (pour des locaux, un compte informatique, etc.)- Interactivité matérielle (retrait d’argent à un guichet automatique,

Environnement contrôlable Système dissuasif L’utilisateur peut porter sur lui ses caractéristiques

vocales Possibilité de techniques additionnelles de vérification

de l’identité Possibilité d’intervention humaine

Applications télécoms

La vérification s’opère à distance- Accès à des services pour des abonnés (serveurs, données,

etc.)- Transactions à distance (opérations bancaires, paiements par

carte bancaire, etc.)

Signal de mauvaise qualité et fluctuant Dissuasion médiocre (anonymat) Les caractéristiques vocales doivent être centralisées Difficulté à implanter d’autres techniques de vérification

de l’identité Pas d’intervention humaine possible

Applications policières/judiciares Recherche de suspects, d’éléments de preuve, de

preuves, etc.- Tests auditifs par des experts- Lecture de spectrogrammes par des experts- Méthodes (semi-)automatiques

Identification ou vérification Pas de contraintes de temps réel Très importante hétérogénéité des enregistrements Possibilité de modifications intentionnelles Indépendance au texte souhaitable

→ Nécessité d’une précaution extrêmepas toujours garantie

Mais aussi…

• Organisation de l’information– Structuration, archivage de documents sonores– Navigation dans ces documents

• Jeux– Augmenter l’interactivité– Utilisation de profils de joueurs

• Personnalisation des services– Stocker un profil d’utilisateur pour accéder plus

rapidement à des services

Les enjeux applicatifs : conclusion

• La technologie est prête pour des applications ne nécessitant pas un niveau de sécurité très élevé.

• L’ergonomie peut pallier certaines faiblesses des algorithmes.

• La parole n’est pas le moyen le plus robuste en vérification de l’identité, mais c’est l’un des plus naturels (avec la reconnaissance de visage).

• Il est nécessaire d’informer largement les milieux policiers et judiciaires des limites de la reconnaissance du locuteur.

Les enjeux stratégiques

• Ecoutes téléphoniques– Protection de la démocratie ?– Intrusion dans la vie privée ?

• Recherche de suspects / Authentification– Le corbeau de l’affaire Grégory– La cassette Ben Laden

Historique

Trois étapes• Reconnaissance par l’écoute faite par des

« experts » (à partir de 1940)• Reconnaissance par la lecture de

spectrogrammes réalisée par des« experts » (de 1960 à 1970)

• Reconnaissance par des systèmes automatiques (ou pseudo-automatiques)(à partir de 1970)

Reconnaissance par l’écoute

Tests par paires

Reconnaissance par spectrogrammes

Reconnaissance automatique

• Systèmes reposant sur des modélisations statistiques• Ordres de grandeur pour la vérification (EER)

– En laboratoire :

– Pour des applications commerciales :• Performances connues mais non publiques• Jugées suffisantes pour quelques produits pionniers

– Pour des applications policières / judiciaires :• Performances évaluées ?

conditions idéales parole téléphonique(lignes fixes)

dépendant du texte <0.1 % 0.5 à 2 %

indépendant du texte 0.5 à 1 % 5 à 10 %

Composantes d’un système

• Une phase d’apprentissage– Construction d’un modèle de locuteur

• Une phase de test– Comparaison entre un énoncé et un modèle

de locuteur

Phase d’apprentissage

analysesignal

identité

paramètres modélisation

Dictionnairede modèlesde référence

ENTREES

SORTIE

Phase de test en identification

analysesignal paramètres modélisation

ENTREE

comparaison

Scores

décision

SORTIE

Phase de test en vérification

analyse paramètres modélisation

comparaison

décision

SORTIE

signal

identité

ENTREES

La phase de paramétrisation

Paramètres d’analyse

• Paramètres spectraux :– Analyse par banc de filtres ou analyse LPC– Transformation cepstrale– Paramètres delta (et delta-delta)

• Paramètres prosodiques :– (Log-énergie et) delta-Log-énergie– Fréquence fondamentale– Paramètres de durée

→ Existe-t-il des paramètres spécifiquesà la reconnaissance du locuteur?

Modélisation

• Les précurseurs• Programmation dynamique (DTW)• Quantification vectorielle (VQ)• Modèles de Markov cachés (HMM)• Réseaux de neurones (NN)• Modèles auto-régressifs vectoriels (ARVM)• Modèles par mélange de Gaussiennes (GMM)

Les précurseurs

PRUZANSKY 1963

Mesure de corrélation entre spectres à long terme

ATAL 1968

Utilisation de contours prosodiques normalisés

BRICKER 1971

Mesure de Mahalanobis sur spectres à long terme

Programmation dynamique (DTW)

meilleurchemin

),()Y,X( 2jid yx

“Bonjour” locuteur test Y

“Bon

” lo

“Bonjour” locuteur 1

“Bonjour” locuteur n

DODDINGTON 1974, ROSENBERG 1976, FURUI 1981, etc.

Quantification vectorielle (VQ)

meilleurequant.

),()Y,X( X2

jiCd y

Dictionnaire locuteur 1

Dictionnaire locuteur 2

Dictionnaire locuteur n

SOONG, ROSENBERG 1987

meilleurchemin

)S(Plog)Y,X(iXjy

“Bonjour” locuteur n

“Bon

” lo

ROSENBERG 1990, TSENG 1992

meilleurchemin

)S(Plog)Y,X(iXjy

HMM locuteur 1

HMM locuteur 2

HMM locuteur n

PORITZ 1982, SAVIC 1990

Modèles par mélange de Gaussiennes(GMM)

REYNOLDS 1995

La phase de décision

• Calcul d’un score– Avec le modèle de locuteur considéré

– Avec un « modèle du monde »

– Rapport entre les deux scores

• Comparaison à un seuil– Si supérieur au seuil, on « accepte »

– Si inférieur au seuil, on « rejette »

L’évaluation

• EER : fausse acceptation = faux rejet

• Courbe DET :

• Les évaluations NIST

La caractérisation du locuteur à DDL

• Recherche d’une technique d’analyse du signal plus adaptée

• Amélioration des modèles statistiques et recherche d’algorithmes plus efficaces pour les apprendre

• Intégration des informations prosodiques dans les systèmes

• Modélisation de la dérive temporelle de la voix• Utilisation de la reconnaissance du locuteur

dans des tâches d’indexation sonore

Conclusion sur la RAL

• Domaine pluridisciplinaire nécessitant des connaissances multiples

• Bonnes performances sur des données propres et en laboratoire, mais très insuffisantes pour des domaines nécessitant un haut degré de sécurité ou le domaine judiciaire

• On peut parler de signature vocale mais pas d’empreinte vocale

Perspectives de la RAL

• Améliorer les systèmes– Nouvelles sources d’information (prosodie)– Analyse du signal plus adaptée– Meilleurs modèles statistiques– Robustesse (meilleure prise en compte de la

variabilité)– Etude de la dérive temporelle de la voix

• Autres tâches– Segmentation par locuteurs– Indexation par locuteurs

Discussion sur une actualité récente

• La vérification d’identité dans les milieux judiciaires

• L’affaire Grégory – la cassette Ben Laden

• Des articles de journaux la semaine dernière

• La prise de position des scientifiques français

Bibliographie• R. Boite, H. Bourlard, T. Dutoit, J. Hancq, and H. Leich.

Traitement de la parole. Presses Polytechniques Romandes.

• Calliope. La parole et son traitement automatique. Masson, 1989.

DEA de Sciences Cognitives 1 Le traitement automatique de la parole Comment reproduire les processus...

Documents

Euthanasie, planification anticipée, démence, troubles cognitifs et vieillissemnt

Madjid KHICHANE Bot Framework Microsoft Bot Framework · Microsoft Bot Framework cognitifs d’Azure Maîtrisez le développement de chatbots avec les services cognitifs d’Azure

Exercices non cognitifs

Processus cognitifs complexes Les fonctions exécutives

LE PROCESSUS CRÉATIF - Fabula · 2019. 8. 5. · le processus crÉatif dans les arts. performatifs, visuels, sonores et littÉraires organisÉ par ivan magrin-chagnolleau, artiste

Dysfonctionnements cognitifs associés aux troubles

Exploration des troubles cognitifs - sfrnet.org · Troubles cognitifs : que rechercher en imagerie ? •Rechercher un diagnostic différentiel •Quantifier l’atteinte vasculaire

Evaluation des troubles cognitifs - Sornest

Les apprentissages scolaires : des montages cognitifs complexes

handicap et la deuxième cause de troubles cognitifs

Troubles cognitifs Chapitre 7

TROUBLES COGNITIFS VASCULAIRES - Lnfplnfp.fr/img/uploads/2017/04/TbleCognitifsVasculaire_2017...Evaluation standardisée tbles cognitifs vasculaires (Batterie de référence) (Hachinski,

Les facteurs cognitifs de l’objectivation du territoire

TRAITEMENT MEDICAMENTEUX DES TROUBLES COGNITIFS …

REPLICANTS : Humains virtuels cognitifs, émotionnels et sociaux

Le sommeil, l’âge et les troubles cognitifs

Aspects mathématiques et cognitifs de la modélisation des

Hémiplégie et troubles cognitifs après AVCifsi.upmc.fr/wp-content/uploads/2014/02/20150924... · Hémiplégie et troubles cognitifs après AVC Équipe pluridisciplinaire Service

Cancer du sein, troubles cognitifs et réinsertion

Les facteurs cognitifs, textuels et contextuels qui influencent ......Les facteurs cognitifs, textuels et contextuels qui influencent la compréhension d’une nouvelle littéraire