Annotation intonosyntaxique de corpus oraux• Requêtes sur les données Méthode d’annotation...

1

Annotation intonosyntaxiquede corpus oraux

A. Dister, A. Lacheret

Ecole thématique annotation de données langagières, Biarritz, 11-16 septembre 2011

Protocole Rhapsodie, http://rhapsodie.risc.cnrs.fr/fr/

2

Matériel sur clé

• Tutorial Praat, easyalign• Guide codage proéminences prosodiques• Document annotation tonale Prosogram• Deux corpus transcrits avec et sans balise (formats txt

ou doc)• Bibliographie ≈ thématique• Articles

– CBB transcription orale et morphologie– Groupe syntaxe Rhapsodie : segmentation syntaxique de l’oral– PPT CM, TP prosodie

• CM en couleur– Slides gris = transition– Slides jaunes = matériel post école (ex procédure d’alignement,

contours globaux en prosodie,

– Matériel TP dans dossier TP • Textgrids, wav, doc

3

Contexte, enjeux, objectifs et méthodes

• Contexte : donné à manipuler en entrée = continuum sonore– Annotation : transcription, segmentation

• Enjeux & objectifs– Pour quoi faire ?

• Enjeux théoriques (linguistique de corpus, linguistique fonctionnelle) et technologiques

– Comment faire (tâches) ?

• Méthodes et outils pour le faire (manuel vs automatique) ?– a) en syntaxe – b en prosodie – c) assemblage intonosyntaxique

4

Pour quoi faire ?

5

Pour quoi faire : enjeux théoriques (1/3)

• Linguistique de corpus

– constitution, annotation• Archivage• Requêtes sur les données

� Méthode d’annotation mutualisée– Mise au point de formats pour l’annotation prosodique

et syntaxique de données orales dans une perspective d’interopérabilité et d’échange ;

– Interface web de consultation et d’annotations de données orales structurées (requêtes + affichages) ;

– Distribution en ligne d’outils pour traiter et analyser ces ressources avec manuels d’utilisation ;

6

Pour quoi faire : enjeux théoriques (2/3)

• Linguistique de corpus oraux & transfert de connaissances

– Une nouvelle lunette d’observation • aller-retour entre traitement manuel et automatique: adapter

aux spécificités de l’oral outils conçus pour traitement de l’écrit (traitement syntaxique) ou élaborés pour lecture oralisée, ctx = phonétique de laboratoire (annotations prosodiques).

• questions posée par annotation des données orales tout venant : pas seulement objectifs pratiques mais aussi levier pour impulser propositions théoriques avec nouveaux modes de représentation à l’interface de syntaxe et prosodie (segmentation en groupes : comment couper ? Comment catégoriser les unités qui émergent ? Etc. Réf 1.16)

7

Pour quoi faire : enjeux théoriques (3/3)• Linguistique fonctionnelle (interprétative, vs formelle): activité de

langage fondamentalement déterminée par les fonctions qu’elle sert: Réf 1. 21)– Discours :

• fonctionnement des formes intonosyntaxiques rencontrées dans le discours

– types de corrélations entre unités syntaxiques et marqueurs prosodiques dans la structuration des discours (réf 1.6)

» Identification d’unités de discours de rang et de portée variable (ex l’équivalent de la phrase à l’écrit)

» Constructions grammaticales prototypiques sous l’angle intonosyntaxique (ex. parataxe, greffes, extractions gauches et droites, parenthèses, incises )

– hypothèses sur les raisons énonciatives qui motivent leur choix.

» Indices de point de vue, expressivité» Marquage du discours autre (l’hypothèse du faible

marquage de la clôture d’un discours rapporté est-elle vérifiée?)

» Empaquetage informationnel» etc

8

Pour quoi faire : enjeux technologiques

• Grands corpus oraux annotés : passage à l’échelle �besoin de corpus oraux annotés manuellement (syntaxe+prosodie)

• TAP– Apprentissage automatique (entraîner des systèmes

en vue d’annotations automatiques ultérieures �corpus annotés manuellement)

– Modèle de génération automatique de la prosodie pour la synthèse de la parole : analyseur syntaxique automatique (syntaxe de surface (tagging), syntaxe profonde (relations entre unités ± contigues, microsyntaxe, macrosyntaxe)

9

Illustration : Détection automatique des proéminences sous Analor

S-3 S-2 S-1 S0 S-3 S-2 S-1 S0 S-3 S-2 S-1 S0 S+1 S+2 S+3

Réf 1.5, 1.7

10

Comment faire ?

11

• Encore trop tôt pour faire trop grand : privilégier l’approche qualitative (vs approche quantitative (≠ grands corpus oraux type PFC))

– Faire peu pour faire bien, propre et cohérent ; peu = déjà beaucoup !– annotation exhaustive : corpus entier annoté et vérifié

• Privilégier la variété des sources (ESLO, PFC, CFPP, corpus de thèses)– monologues et dialogues– parole privée, professionnelle, publique– Entretiens semi-dirigés, conversations libres– Descriptions, prescriptions, narrations, argumentation

• Hétérogénéité vs représentativité– chaque type de discours engendre des marqueurs et des constructions

caractéristiques du type en question � richesse des annotations fournies en sortie relève de la diversité des situations

discursives, i.e. de la pluralité des constructions à gérer (constructions « standards » mais aussi « non standards »)

!! Petit corpus diff. de couverture faible

� En sortie : des annotations utilisables pour des systèmes d’apprentissage automatique de structures sur des genres variés en syntaxe comme en prosodie

12

Architectureson

Transcription manuelle normalisée (TON)

Alignement semi-automatique (au phonème)easy-align sous PRAAT

son + TON

son + TextGrid

Annotation prosodiquemanu + auto

annotationsyntaxique

Macro manuelle Micro semi-automatiqueson + TG

assemblage

pivotpivot

13

Méthodes et outils pour le faire

Transcription orthographique & annotation syntaxique

14

1re étape : transcription orthographique

Corpus : données “éparpillées”- uniquement le son- transcription en texte suivi- transcription alignée au son

Conventions différentes

� NOS conventions Rhapsodie, harmoniser strictement lesdonnées

15

1re étape : transcription orthographique

Transcrire : un jeu d’enfant ?

“Travail de copiste, de secrétaire”. “Il suffit d’écouter.”

Cf. La petite phrase de Martine Aubry à propos de Ségolène Royala bien montré qu’il ne suffit pas d’écouter…

Travail sous-estimé, dévalorisé.Pourtant “transcription as theory” (Ochs 1979)

16

La transcription

Le français parlé. Transcription et édition.(Blanche-Benveniste et Jeanjean, 1987, Didier Erudition)

• Problèmes d’écoute liés

- à l’enregistrement- au nombre de locuteurs- à la variété de langue du locuteur

17

La transcription

• Problèmes liés à la transcription elle-même

Que transcrire ?Utopie du « tout transcrire »Cibler ses objectifs de recherche

� Conventions de transcription explicites

18

Les conventions de transcription Rhapsodie.Principes

1) orthographe standard vs phonétique

� pas de « trucage orthographique »

« Vois-tu, dit Alberta, Mr. Harris s’est imaginé que Teddy d’venait vieux et qu’il allait être malade là-bas, ou s’ perdre – ou s’ faire mordre par un serpent, ou s’ faireattaquer par un lapin et enfermer dans un terrier… C’est pourquoi ici – ici, en plein ville ! – s’étale la vieille Alberta Perkins, dans les vapeurs tropicales de l’été ! Pendant ce temps, où crois-tu, bonté divine, où crois-tu que ce teigneux de chien s’ trouve ? Hein ? Peux-tu me dire où il est ? Devine. Vas-y. Je t’ le donne en mille ! Hooker ?- J’ sais pas, dit Iris.- Je ne sais pas », dit Hooker. (Thimoty Findley, trad. 1995)

� lisibilité + cohérence tout au long de la transcription� parce que vs *pasque ; ils vont vs *i vont; ils ont vs *i-z-ont

� aucune élision (tu as vs *t’as ; peut-être vs *p’têt)

19

Les conventions de transcription Rhapsodie

2) Pas de ponctuation. Abandon du concept de phrase à l’oral

� essentiellement notion liée à l’écrit

� liée étroitement à la typographie(Berrendonner 1993 : « unité de typographe »)

� pas de bi-univocité pause orale / ponctuation

« La ponctuation, si on la met trop tôt, préjuge de l’analyse syntaxique et impose un découpage sur lequel il est difficile de revenir. » (Blanche-Benveniste et Jeanjean 1987 : 139)

� Quand texte suivi, changement de ligne pour changement de locuteur

20

Transcription orthographique normalisée

3) pas de pause silencieuse

4) prise en compte de l’”oralité” des données, avec notation minutieuse de :

- euh- répétitions- amorces de morphèmes- chevauchements de parole

� Convergence avec de nombreux centres de recherches

21

Transcription – un exemple

donc vous allez jusqu’au bout jusqu’à un grand carrefour là oùvous allez voir le le cinéma La Nef Chavant et quand vous serez donc à La Nef Chavant alors là euh il vous vous passez à droite du cinéma une petite rue qui part à droite du cinéma euh qui en fait qui c’est sur la ligne du tram hein vous suivez la ligne du tram

22

Annotation syntaxique

A l’heure actuelle, aucun outil d’annotation syntaxique automatiquepour de l’oral transcrit

� Adapter des outils existants� Fournir à des outils existants des entrées qu’ils peuvent traiter

Rhapsodie : annotation manuelle et annotation automatique2 niveaux d’annotation : - niveau 0 : micro et macrosyntaxe +

entassements- niveau 1 : dépendance + fonctions +

classes grammaticales

23

Annotation syntaxique.Remarques préalables

1) Annotation syntaxique se fait en écoutant le son

Buts : ne pas créer de “faux” problèmesEx. Difficultés en périphérie de segment : rattachement d’un segment à

gauche ou à droite.et tout cela grâce à notre boule de lavage maître alors qu'est-ce qu’on peut dire en conclusion. (D211 téléachat)

Danger : accorder trop de poids à la prosodie dès le découpagesyntaxique

2) Pas de double annotation en cas de doute (idem transcription)

3) Volonté de reproductibilité du codage

24

Annotation syntaxique.Remarques préalables

4) La notion de locuteur collectif (Loufrani 1981)

$L1 vous constatez > maître //

$L3 { très sale |} //+$L1 {| { très | très } sale } // (D211 téléachat)

25

Annotation syntaxiqueCadre théorique

Quelle unité de la syntaxe ? Quelle unité syntaxique maximale ?Quelles relations entre les éléments d’un énoncé ?

Ex. les élections je m’en fous

26

Annotation syntaxiqueCadre théorique

Quelles relations entre les éléments d’un énoncé ?

Ex. les élections je m’en fousde la foutaisebof(bras d’honneur)

� Il y a bien une relation, mais pas au niveau de la syntaxe au sens strict

Idem : (a) plus je dors (b) plus je suis fatiguéemoi ma mère son salon c’est de la moquette

27

Annotation syntaxiqueCadre théorique

Les relations entre les éléments d’un énoncé

� certaines sont commandées par la syntaxe (contraintes du verbe recteur) : microsyntaxe (ex. j’ai mangé une pomme ce matin)

� d’autres relèvent d’un autre niveau : macrosyntaxe (ex. à mon avis il ne viendra pas)

Cadre théorique du GARS (Blanche-Benveniste)

28

Annotation syntaxiqueCadre théorique

Critères de la rection : je mange des fruits / je l’aime parce qu’il est intelligent

� relation avec une proforme (relation de proportionnalité) : le / lui /à ce moment-là / pour cette raison : j’en mange / je l’aime pour cette raison

� clivage : c’est des fruits que je mange / c’est parce qu’il est intelligent que je l’aime

� pseudo-clivage : ce que je mange c’est des fruits / (se prête mal au clivage, comme les Q-Constructions)

� développement sous forme de liste contrastive : je mange des fruits pas des légumes / je l’aime parce qu’il est intelligent pas parce qu’il est riche

29

Annotation syntaxiqueCadre théorique

� Microsyntaxe : noyau + éléments régis (liens de rection)� Macrosyntaxe : noyau + éléments flottants (= adjoints, associés,

adnoyaux)

Macrosyntaxe : niveau d’organisation qui se superpose à la microsyntaxe et qui permet de rendre compte de certainsregroupements ou dégroupements dont on ne peut rendre compteen termes de rection (propriétés rectionnelles des classesgrammaticales)

- Micro et macro peuvent correspondre, mais pas tjs

30

Annotation syntaxique : niveau 0

Unité de la macrosyntaxe = Unité illocutoire (UI)Pré-noyau – noyau – post-noyau

Noyau : unité minimale de la macrosyntaxe (BB 1990); porteur d’une modalité (assertion, interrogation, injonction); peut former un énoncéautonome; peut être nié ou interrogé.

Pré et post-noyau (+in-noyau) : pas de valeur d’acte illocutoire; pasd’autonomie communicative

c'est ça "hein" qu'il veut dire > Yves Klein // (D102 Yves Klein)

par contre < quand même < { c'est une | c'est une } référence // (D102 Yves Klein)

on peut véritablement parler de miracle > Valérie "hein" // (D 211 téléachat)^et pourtant < aujourd'hui <+ on y croit dur comme fer // (D 211 téléachat)

^et vous êtes drôlement attifée > quand même // (D201 Duras)

il m'a été commandé > ce livre "attention" "hein" // (D201 Duras)

j'en ai énuméré ( d'ailleurs ) avant ce générique // (D201 Duras)

31

Annotation syntaxique : niveau 0

Unité de la microsyntaxe = Unité de rection (UR)

élément constructeur (de nature variée) + éléments dépendants

c'est ça "hein" qu'il veut dire > Yves Klein // (D102 Yves Klein)par contre < quand même < { c'est une | c'est une } référence // (D102 Yves Klein)

on peut véritablement parler de miracle > Valérie "hein" // (D 211 téléachat)

^et pourtant < aujourd'hui <+ on y croit dur comme fer // (D 211 téléachat)^et vous êtes drôlement attifée > quand même // (D201 Duras)

il m'a été commandé > ce livre "attention" "hein" // (D201 Duras)

j'en ai énuméré ( d'ailleurs ) avant ce générique // (D201 Duras)

32

Annotation syntaxique : niveau 0

� Annotation “simple” permet de rendre compte des 2 dimensions micro et macro, avec 2 types d’unités : les unités de rection (UR) et les unités illocutoires (UI)

� La sortie de l’une ne correpond pas à l’entrée de l’autre� Frontières syntaxiques majeures (de la microsyntaxe et de la

macrosyntaxe)� Frontières des adnoyaux et des éléments enchâssés

� Entassements paradigmatiques

33

Annotation syntaxique : niveau 0

Pas nécessairement coïncidence UR – UI

� Souvent, plusieurs UR dans une UI.c'est ça "hein" qu'il veut dire > Yves Klein // (D102 Yves Klein)

� Mais cas inverses de plusieurs UI dans une seule UR (épexégèses, compléments différés)

Il parle anglais //+ et bien //

L1 il a jeté le livre //+L2 dans la poubelle ? //

34

Annotation syntaxique : niveau 0Les balises

35

Annotation syntaxique : niveau 0Quelques cas.

Entassements

� les policiers sont arrivés en raison du du du vacarme je p~ je pense (M024 Charlot)

� tu continues la rue la petite rue (M001 itinéraire)

� et vous êtes sur un bac qui traverse le fleuve c'est-à-dire le Mekong (D201 Duras)

�d'autres réseaux sociaux thématiques devraient voir le jour prochainement notamment un site pour les amateurs de sport et un autre pour les clubbersbranchés (M205 réseaux sociaux)

� on n'avait rien vu qu’un homme une auto noire et une jeune fille et et des cars pour indigènes (D201 Duras)

� aux pieds j'ai des des lamés or des des des souliers de pour danser (D201 Duras)

36

Annotation syntaxique : niveau 0Quelques cas.

Entassements

� les policiers sont arrivés en raison { du | du | du } vacarme { " je p~ " | " je pense " } // (M024 Charlot)

� tu continues { la rue | la petite rue } // (M001 itinéraire)

� ^et vous êtes sur un bac qui traverse { le fleuve | ^c'est-à-dire le Mekong } // (D201 Duras)

� { d'autres réseaux sociaux thématiques |} devraient voir le jour prochainement {|^notamment un site pour les amateurs de sport | ^et un autre pour les clubbersbranchés } // (M205 réseaux sociaux)

� on n'avait rien vu qu'{ un homme | une auto noire | ^et une jeune fille | { ^et | ^et } des cars pour indigènes } // (D201 Duras)

� aux pieds <+ j'ai { { des | des } lamés or | { des | des | des } souliers } { de | pour }danser // (D201 Duras)

37

Annotation syntaxique : niveau 0Quelques cas.

Segments insérés

Permet de « sauter » tout ce qui est en rupture avec l’énoncé en cours de construction.

Description : énoncé à l’intérieur d’un autre énoncé, généralement une construction verbale ; impossibilité de la rattacher à l’énoncé en cours de construction.

� en mille neuf cent cinquante quand vous avez fait paraître ce ce chef-d’œuvre pour moi c'est un chef-d’œuvre qui s'appelle Un Barrage contre le Pacifique vous l'avez raté de peu (D210 Duras)

38

Annotation syntaxique : niveau 0Quelques cas.

Segments insérés

� en mille neuf cent cinquante <+ quand vous avez fait paraître { ce | ce } chef-d’oeuvre (pour moi < c'est un chef-d’œuvre // ) qui s'appelle [ Un Barrage contre le Pacifique // ] <+ vous l'avez raté de peu // (D210 Duras)

39

Annotation syntaxique : niveau 0Quelques cas.

Discours direct

Le discours direct peut s’étaler sur plusieurs segments qui seront annotés comme unités autonomes (et que l’on ne fait donc pas dépendre du verbe introducteur).

� certains membres de l'Académie Goncourt auraient dit [ ^mais pourquoi lui donnerait-on pas le prix Goncourt // ] // (D210, Duras)

� il a dit [ casse-toi > pauvre con // ] //

40

Annotation syntaxique : niveau 0Quelques cas.

Greffeposition syntaxique remplie par une catégorie non attendue,

généralement une construction verbale

� { vous t~ | vous suivez } la ligne du tram qui passe vers { la & | [ je crois que c' est une ancienne caserne "je crois" // ] } // / (M003 itinéraire)

� vous avez dit que "euh" [ disons ma carrière pour simplifier // ] témoigne de ma bonne conduite // (D201 Giroud)

41

Annotation syntaxiqueMéthode

Annotation niveau 0

(1) Annotation automatique des répétitions contigües et des euh

(2) Annotation manuelle macrosyntaxique complète(à la fois balisage des unités qui seront analysablesautomatiquement et description de la structure macrosyntaxique)

(2) Annotation manuelle des entassements (disfluences, reformulations, répétitions, coordinations - tout cas de réalisation multiple de la même position structurale)

(3) Vérification automatique de la syntaxe de l’annotation (sous Pilepilot)

42

Annotation syntaxiqueMéthode

Dépliage automatiqueAnnotation niveau 0 -> liste de segments analysables

automatiquement

Annotation Niveau 1 ( FRMG + script de conversion du schéma FRMG au schéma Rhapsodie)

Annotation automatique de la structure de dépendanceAnnotation automatique des catégories et des fonctions syntaxiques

43

Annotation Niveau 0

Annotation automatique des répétitions de formes contigües, des euh, et de certaines marques

donc vous allez jusqu’au bout jusqu’à un grand carrefour là oùvous allez voir { le | le } cinéma La Nef Chavant et quand vous serez donc à La Nef Chavant alors là "euh" il { vous | vous } passez à droite du cinéma une petite rue qui part à droite du cinéma "euh" qui en fait qui c’est sur la ligne du tram "hein" vous suivez la ligne du tram

44

Annotation Niveau 0

^donc vous allez { jusqu' au bout | jusqu' à un grand carrefour | là } oùvous allez voir { le | le } cinéma La Nef Chavant //

^et quand vous serez donc à La Nef Chavant <+ "alors" là "euh" <+ {il & | { vous | vous } passez } à droite du cinéma //

une petite rue { qui part à droite du cinéma | "euh" qui en fait & | qui & } //

c' est sur la ligne du tram "hein" //

vous suivez la ligne du tram //

45

Dépliage

• et• donc

• vous allez jusqu ' au bout où vous allez voir le cinéma La Nef Chavant

• vous allez jusqu ' au bout où vous allez voir le cinéma La Nef Chavant• vous allez jusqu ' à un grand carrefour où vous allez voir le cinéma La Nef Chavant

• vous allez jusqu ' à un grand carrefour où vous allez voir le cinéma La Nef Chavant

• vous allez là où vous allez voir le cinéma La Nef Chavant

• vous allez là où vous allez voir le cinéma La Nef Chavant• quand vous serez donc à La Nef Chavant là il XXX

• quand vous serez donc à La Nef Chavant là vous passez à droite du cinéma

• quand vous serez donc à La Nef Chavant là vous passez à droite du cinéma • une petite rue qui part à droite du cinéma

• une petite rue qui en fait XXX

• une petite rue qui XXX

• c ' est sur la ligne du tram • vous suivez la ligne du tram

46

Annotation niveau 1

47

Annotation prosodique

A. Lacheret

48

Plan

• Etat de l’art– Pratique de l’annotation – Outils d’annotation

• Objets à annoter– Points méthodologiques– Contours, proéminences, disfluences, périodes,

• Outils pour annoter, qq pistes

49

Etat de l’art

50

Quelle étiquette ? Ton, contour, gestes intonatifs

• Pratique de l’annotation – Pas d’annotation unifiée

• Un système de référence TOBI– Non automatisable– Gomme la dimension temporelle (ton vs geste intonatif)

» Prosodie = F0, tps (durée segments pleins et pauses), qualité vocale, intensité

– Utilise une théorie linguistique implicite � * mutualisation– Annotation d’emblée fonctionnelle (tons, frontières)

51

Déduction vs induction

annotation

théorie

Corpus segmenté, transcrit

C. sonore

Corpus segmenté, transcrit

C. sonore annotation modèle

!! Pas de théorie ne veut pas dire ni hypothèses, ni intuition (modèle mental

du locuteur-transcripteur)

52

La place de la modélisation informatique

Analyse perceptive et acoustique

Annotation manuelle

CORPUS

Choix des critères

Comparaison et réanalyse

Traitement automatique

Annotation automatique

53

• Outils d’annotation– Outils d’annotation

• Outils labo (non directement accessibles)• Outils en ligne

Voir Réf 4.1, 4.2, 4.4, 4.5

54

Objets à annoter

Points méthodologiques

55

Méthode (Réf 1.17)

Méthode bottom-up (du perceptif au fonctionnel), Intégration progressive de la complexité (phase d’annotation précède la phase de caractérisation et d’interprétation

1. Repérer des objets sur le signal de parole (ex proéminences syllabiques; unité prosodique majeure)

2. Caractériser acoustiquement ces objets1. Configuration tonale d’une proéminence � annotation tonale2. Contours prototypiques

3. Les interpréter fonctionnellement 1. Proéminence = accent2. Proéminence = frontière3. Interprétation discursive : domaine de projection, portée (liage

ou rupture entre unités), etc== interprétation basée sur 1 (ex degré de proéminence � ± frontière),

voire 2

56

Discours

Période Période Période Période

Interprétation : vue (TP3)

Paquet intonatif

GR1 GR2

57

Sortie textgrid

Autonomie des couches d’annotation � degrés de granularité variable (standard vs enrichie)

*

*

58

3 slides sur les contours, pour plus d’information, voir documents annexes (réf 1.1,4.5)

• Description riche des contours � Gap descriptif (> contour majeur, mineur, H*, H%) � Gap interprétatif

• Contours syllabiques– Suivi de contours sur modèle perceptif (simulation de la perception des

variations de hauteur dans le temps : le Prosogram de P. Mertens (clé : doc annotation tonale)

• niveau de hauteur au début du noyau syllabique,• variation mélodique à l’intérieur de la syllabe,• niveau infra-bas (bottom) atteint à la fin du noyau syllabique

– "HF_" : chute à grand intervalle à partir du niveau haut, suivie d’un palier ;

59

Contours (suite)• Contours globaux sur des unités d’empan variable (visée

fonctionnelle)

– Morphologie de contours à partir d’une courbe lissée (stylisée) sur les bases de :

• Modèle perceptif• Modèle mathématique (approximation des variations de F0

sur le signal) : variations "lentes" considérées comme prosodique, variations "rapides" considérées comme du bruit ou un résidu phonétique � gommées/lissées/effacées

60

Contours globaux (suite)

- Extraction des points valeurs caractéristiques (Initial, Final, Extrême, Ancrage et Registre Local) pour chaque

empan souhaité

- Conversion en alphabet symbolique

Exemple avec les empans syllabe, groupe rythmique et phrase :

61

Objets à annoter

Zoom sur proéminences

62

PRAAThttp://www.fon.hum.uva.nl/praat/ (aussi TP1)

• Pourquoi PRAAT ?– Outil mutualisé– toute opération manuelle est automatisable sous

PRAAT : scripts multiples disponibles ou à écrire facilement, communauté PRAAT

• Mode d’emploi PRAAT (C. Gendrot, P3) – http://www.cavi.univ-

paris3.fr/ilpga/ed/savoirFaireED268.htm#praat

63

Principes et objectifs d’annotation

• Base perceptive (ce que j’entends, (ce que je vois) sur le signal)– Se distancier d’une vision théorique implicite

• Annotations mutualisée : novices (étudiants en SDL), experts

• Annotation automatisable– annotation explicite– Guide d’annotation (clé +TP: simplifié)– Annotation de référence

64

Proéminences

• Proéminences et principe de contraste (perception syllabique) : une syllabe peut se détacher dans le flux verbal par rapport à ce qui précède et ainsi contraster avec son environnement. elle se détache perceptivement comme une figure sur un fond sonore.

• Perception des proéminences continue, et non catégorielle. – Différents degrés de proéminence (du non

proéminent au très proéminent). – Pour rendre compte de manière rudimentaire de ce

processus continu, nous proposons d’utiliser deux niveaux : proéminence normale (p ou W), proéminence forte (P ou S)

65

Sortie au format textgrid :annotation de référence

66

Comment établir une annotation de référence

• Entrée : annotations plurielles (Réf 1.18, 1.19) – Annotations novices (humain, voire automatique)– taux d’accord inter-annotateur (différentes façons de

le calculer (TP4)

• Sortie de référence : annotations novices revues par experts (en plusieurs passes)– Entrée pour l’apprentissage des systèmes

• A termes : étiquetage automatique (nettoyé)

67

Mesures utilisables conseillées �Statistiques sur les annotations (réf 1.8,

1.10, 1.12, 4.3)

• Pour quoi faire ?– Contrôler annotations novices : sont-elles fiables pour

servir de support à l’annotation de référence ?• Sous-annotation• Sur-annotation• Annotation « à côté »

– Calcul taux d’accord inter-annotateurs• Fleiss-Kappa : mesure statistique de l’accord

(agreement) d’un ensemble de N annotateurs surune annotation de type catégorielle

• Ratio (%) : nombre de syllabes annotées par rapport au nombre de syllabes

68

Kappa

• accord pauvre = entre 0 et 0.2accord faible = entre 0.2 et 0.4accord moyen = entre 0.4 et 0.6accord bon = entre 0.6 et 0.8accord parfait = entre 0.8 et 1

accord acceptable à partir de 0.4, accord bon à partir de 0.6

69

Illustration : statistique sur les proéminences

• Comment gérer les contextes de grandes disparités entre les annotateurs, des annotateurs très peu consensuels � on ne les garde pas

C1C2

C3

C4C5

70

Questionnements fréquents pour les experts

71

Bsacule en contexte de schwa post-tonique

Ref

72

Arc accentuel (Réf 1.2, 1.9, 1.11)

Ref

73

Pénultième « P » OU « p » ?

Ref

74

Syll. H ET ou Prom ?

75

Degré proéminence

• En position finale de groupe

Ref

76

Degré de la proéminence

empaquetage intonatif non respecté (p vs P)

– En finale de groupe : importance pour les modèles interprétatifs qui utilisent la notion d’empaquetage intonatif (cf supra, slide 56 et aussi TP)

77

Entassements syntaxiques

78

Objet à annoter

Zoom sur les périodes

79

Segmentation du discours

• Principes théoriques – Vocalisations prosodiques discursivement contraintes

: Indices temporels et fréquentiels associés à la perception de ruptures fortes dans le discours

– Unité de segmentation majeure dans le discours ?– Unités intonodiscursives de rang et de portée variable

dans le discours ?

• En pratique – Segmentation automatique avec le logiciel Analor

revue manuellement (premiers travaux 2000, Réf 1.13, 1.3, 1.4)

– Cf. infra, vues

80

Illustration (Rhap-M0001, Réf 1.15)

tu continues la rue _

quoi de _ de _ de structure métallique _

tu arrives place aux Herbes avec une _ une sorte de halle _

tu passes à côté d'une petite fontaine

et euh _ après tu bifurques euh _ y a une petite bifurcation euh juste avant la place du Tribunal

tu continues dans la vieille ville tu prends la grande rue _

tu longes les les rails du tram _ jusqu'à la place Grenette _

(à) la place Victor Hugo à la banque euh _ qui fait l'angle tu prends àdroite _

tu continues tu vas arriver sur la place euh Victor Hugo _

_ et ben euh _ tu prends le boulevard euh _ là qui part de Nef Chavantlà le boulevard qui passe à côté d’Habitat _

81

Une annotation outillée

82

Prétraitement

83

Prétraitement

• Nettoyage des courbes– Winpitch : non mutualisé, expert en TS et ds

utilisation winpitch– Analor : mutualisé, utilisation intuitive

• Alignement texte-son– Aligneurs labo (LIMSI, LORIA, etc)– Domaine public à privilégier : Easyalign (tutorial sur

clé)• http://latlcui.unige.ch/phonetique/easyalign/Tutorial

_EasyAlign.pdf

84

Nettoyage courbes

– Courbes nettoyées nécessaires pour les traitement automatiques (détection périodes, proéminences, annotation tonale) :

• creaky voice, sauts d’octave, echo et bruit de fond (pb de la qualité des corpus d’entrée)

85

Nettoyage des courbes sous Analor, illustration

86

Nettoyage des courbes sous Analor, illustration

87

Nettoyage des courbes sous Analor, illustration

88

Prétraitement : alignement texte son

• Méthode (requêtage) : – alignement au phonème, la syllabe ne suffit pas ! Si

on veut faire des requêtes dans une structure arborescente et distribuée alignant token syntaxiques et unités prosodiques (cf infra)

• Alignement : directement sous PRAAT ou à partir d’un fichier txt (séquences courtes : environ 50 mots par ligne ou groupes de souffles)– Outils développés sur des corpus lus � vérification

manuelle (erreurs nombreuses en frontières de mots (français : langue cursus, voir pb de la liaison), élisions (schwa), insertion, + pb de syllabation (diérèse vs synérèse)

89

Exemple erreur alignement : traitement erroné de la semi-consonne

90

Chaîne de traitement sous easyalign

• Easyalign standard : • Easyalign enrichi : Gestion multilocuteurs plus

chevauchements parole– Locuteurs transcrits sur deux tires de transcription

• Merging des tires• Marquage des segments chevauchés• traitement (alignement) de ces segments

91

Gestion des contextes de chevauchements Locuteurs transcrits sur deux tires de

transcription

92

Gestion des contextes de chevauchements

• Fichier d’entrée fourni par la TON : segments = groupes de mots

• Avec respectivement de gauche à droite– (1) incompréhension des deux segments chevauchés– (2) incompréhension du segment du loc1, segment du loc2

compris, transcrit et aligné– (3) incompréhension du segment du loc2, segment du loc1

compris, transcrit et aligné– les deux segments ont été compris et transcris par le transcripteur

Loc2abcxxxabcxxx

Loc1abcabcxxxxxx

93

Gestion des contextes de chevauchements Merging des tires

marquage des segments chevauchés (overlap), marquage du segment à aligner (aligned)

94

Gestion des contextes de chevauchements Un seul locuteur aligné, celui qui est le plus audible, exemple de sortie finale

95

Outils pour l’annotation

96

Principes pour l’annotation des proéminences et des périodes sous Analor

• Un ensemble de paramètres acoustiques, exemple pour les périodes– Pause – Geste terminal– Saut – * « euh »

• Un ensemble de critères de segmentation (seuils d’activation du paramètre)

• Tableau de paramètres (par défaut vs session en cours)• Corpus à traiter un à un ou en série

97

Annotation automatique des proéminences

S-3 S-2 S-1 S0 S-3 S-2 S-1 S0 S-3 S-2 S-1 S0 S+1 S+2 S+3

Réf 1.5

98

Annotation automatique des proéminences

Seuils ajustables en fonction des genres et styles de discours

99

Segmentation automatique en périodes sure

100

Segmentation automatique en périodes possible

101

Segmentation automatique en périodes bloquée

102

Lissage pour l’extraction de contours globaux prototypiques :courbe de F0 en entrée

103

Courbe de sortie

104

Assemblage des annotations

intonosyntaxe

105

Objectif : requêtes intonosyntaxiques(tester des hypothèses, faire émerger des constructions nouvelles (spécifiques à des

genres vs génériques, etc)

• Arc accentuel : rapport paquets intonatifs ±proéminence initiale

• Liste des contours variants associés à telle unité(ex pré-noyau (cadre de discours (portée du cadre), SN <PRO+V>, unité ±accessible/saillante cognitivement, etc)– Réf 1.14

106

Assemblage � vérifier tires correctement alignées temporellement et contenus cohérents d’une tire à

une autre

Question non triviale : assemblage temporel des autosegments + cohérence des segmentations et transcriptions pour requêtes et

analyses fonctionnelles

Principe d’annotations modulaires � autosegments

son + TextGrid

Annotation prosodique (textgrid) Annotation syntaxique (xml)

Assemblage (xml)

pivotPivot (textgrid)

107

Logiciel de vérification

108

Vérification : syllabe-phonème

109

Vérification tire proéminence

110

Exemples d’erreur d’alignement tokensyntaxique (pivot)-syllabe