Embed Size (px)
Citation preview
Rappel :Qu’est-ce qu’un corpus ? (1)
Le corpus est un ensemble homogène et significatif de données linguistiques observées et à partir desquelles pourra s’élaborer la description et la formalisation des faits linguistiques.
Il joue un rôle essentiel dans la linguistique structurale pour au moins une raison : dépasser la grammaire normative.
2
Rappel : définitions (1)
Définition généralement retenue : La communauté linguistique considère, à la suite de Sinclair (1996), qu’un corpus est “une collection de données langagières qui sont sélectionnées et organisées selon des critères linguistiques explicites pour servir d’échantillon de langage”.
3
Rappel : définitions (2)
Une autre définition plus souple a donc été proposée (Gibbon et al (1998) :
“A corpus is any collection of speech recordings which is accessible in computer readable form and which comes with annotation and documentation sufficient to allow re-use of the data in-house, or by people in others organisations.”
4
Rappel : représentativité (1)
Choisir entre tels ou tels corpus dépend des objectifs visés : étude de la grammaire
analyse terminologique
création et test d'un système de reconnaissance de la parole (conversations téléphoniques)
construction d'un dictionnaire d'une variante du français
recherche de néologismes
apprentissage par un programme d'étiquetage morpho-ssyntaxique (tagger)
étude comparative pour la traduction automatique 5
Rappel : représentativité (2)
Deux grandes catégories de corpus existent et se distinguent en fonction de leur contenu et de ce qu’il représente :
les corpus de référence
les corpus spécialisés ou sous-langage
Dans un corpus de référence, les documents constitutifs doivent être suffisamment représentatifs pour donner une image de la langue telle qu’elle est dans toute sa diversité. Les données doivent provenir de différentes situations de communication, représenter plusieurs styles de documents écrits, etc. Un corpus de spécialité regroupe au contraire des données linguistiques sélectionnées pour représenter une dimension particulière : un domaine (français médical, etc.), un thème, une situation de communication (interactions de service, etc.)...
6
Rappel : représentativité (3)
Le British National Corpus (BNC) : Pour la partie orale du BNC (10 millions de mots), deux composantes ont été définies pour collecter les données : - une composante démographique qui est intervenue dans l’enregistrement des conversations « informelles ». Les locuteurs ont été choisis en fonction d’un échantillonnage socio-démographique et géographique ; - une composante contextuelle qui a permis de sélectionner les données plus formelles (enregistrements de conférences, de débats publiques, de séminaires, de meetings, d’émissions radiophoniques, etc.). Une classification par topique et par type d’interaction a été faite afin de ne pas sur-représenter certains sous-langages ou styles de communication. Frantext (corpus de textes en français) Une démarche analogue a été faite (20 % de textes non littéraires).
7
Plus sur la représentativité
Quelques principes définis par les tenants de la linguistique de corpus en vue de la constitution d’un corpus :
1. Le contenu d’un corpus devrait être choisi sans prendre en considération la langue étudiée, mais plutôt l’usage et la fonction communicatifs des énoncés (privilégier les critères externes);
2. Il est essentiel de viser à la représentativité
8
Plus sur l’échantillon : comment le choisir
L’orientation choisie dans la construction d’un corpus (normativité, etc.);
Les critères retenus : Le mode (comment a été véhiculé ce langage: parole, par écrit);
Le type des documents
Le domaine
L’origine géographique
Le choix des critères doit être précis et rigoureux afin de collecter un échantillon représentatif.
9
La question de la taille (1)
La taille minimum d’un corpus bien construit dépend de deux choses :
Le type des requêtes qui peuvent être faites par les utilisateurs;
La méthodologie utilisée pour étudier les données
Plusieurs critères peuvent être utilisés pour juger de la validité d’un corpus en terme de taille
10
La question de la taille (2)
Les fréquences d’apparition des termes doivent respecter la loi de Zipf
50 % des termes ne doivent apparaître qu’une fois
25% des termes ne doivent apparaître que deux fois, et ainsi de suite
11
Les corpus oraux et les corpus de parole (1)
Distinction est généralement faite entre : Les corpus de parole : il s’agit de base de données contenant
des données orales. Le contenu peut être très variable : liste de logatomes, liste de mots, liste de phrase, liste de texte (etc).
Les corpus oraux : Représentation de la dimension orale de la langue. Elle peut se faire sous forme écrite
12
Les corpus oraux et les corpus de parole (2)
Les corpus de parole sont toujours accompagnés d’un enregistrement.
Exemple : Eurom 1 – FR
Usage : Synthèse et reconnnaissance de la parole, linguistique, etc.
Présentation : audio et transcription souvent alignée sur le signal
13
Les corpus oraux et les corpus de parole (3)
Les corpus oraux : représente la dimension orale de la langue, dans tous ces aspects (formel, informel, etc.).
Corpus peut apparaître soit sous la forme d’une transcription orthographique, soit sous la forme d’une transcription alignée
Utilisation : étude sur la dimension sonore, mais également sur la syntaxe, le discours, etc.
14
Les corpus oraux et les corpus de parole (4)
Exemples nombreux : ESTER, ACSYNT, C-ORAL-Rom, etc.
15
L0 : bon / ben pourrais-tu premièrement me dire quel genre de travail tu fais / m'expliquer ça un petit peu L1 ok je suis euh / ben mon titre comme j'ai indiqué sur ma feuille c'est coordinatrice administrative régionale / ça je m'occupe euh pis c'est en santé publique / ici à Moncton / puis euh je m'occupe: des budgets c'est moi qui fait les gen/ les forcasting pour les budgets / où on est rendu dans les finances / c'est moi qui s'occupe aussi beaucoup des ressources humaines là pour euh / l'embauche des gens pour euh / tous les bénéfices euh (xxx) tous ces choses là hum / puis je suis aussi pour l'informatique là pour la question de des ordinateurs pis tout ça là malgré que je suis pas un experte dans les ordinateurs mais je fais de mon mieux pis j'apprends au fur et à mesure là euh un peu de trouble shooting si tu veux ou des choses euh / techniques là si i-y-a des problèmes au niveau informatique pis même l'achat de l'équipement puis des choses comme ça
Les corpus oraux et les corpus de parole (5)
L’opposition entre les corpus oraux et les corpus de parole tend à disparaître pour trois raisons : Capacité de mémoire des ordinateurs a énormément évolué et
permet donc de stocker de nombreuses données, mais sous un format audio « lourd »;
Outils pour le traitement des données audio se développent, et permettent d’analyser un volume important de données;
Amélioration des outils d’enregistrement
16
Constituer un corpus (oral) (1)
Pour constituer un corpus, le linguiste doit définir une méthodologie et définir les critères prépondérants pour la sélection :
- les objectifs de recherche visés : si l’utilisateur veut construire un corpus pour étudier le vocabulaire des jeunes, il ne choisira pas les situations d’enregistrement de la même façon que s’il veut travailler sur les interactions de service ;
- le type de corpus : si le but est de constituer un corpus de référence, plusieurs critères interviennent en parallèle pour obtenir une meilleure représentativité possible (différences socio-économiques et géographiques entre les locuteurs, différentes situations de communication, des nombreux types de documents écrits (textes littéraires, rapports professionnelles, articles de presse, etc.).)
-
17
Constituer un corpus (oral) (2)
- les modalités d’enregistrement des données : si le corpus est construit pour travailler sur les caractéristiques acoustiques d’un son, il est important que les enregistrements soient faits dans des situations expérimentales optimales (utilisation d’une chambre sourde, enregistrement numérique, etc.). Si, au contraire, le linguiste veut avoir une idée de la langue parlée dans certains quartiers populaires, il est préférable qu’il enregistre les locuteurs dans leur milieu, voire avec un informateur (cf. paradoxe de l’expérimentateur, Labov).
18
Constituer un corpus (oral) (3)
Une fois que le chercheur sait pourquoi il veut construire un corpus, il peut clairement rédiger un protocole qui va lui permettre de définir : - la façon dont doit s’effectuer la sélection/collecte des données; - les locuteurs/ types de documents qui doivent être recherchés.
Le protocole d’enquête spécifie la démarche qui doit être utilisée pour collecter les données.
Pour le corpus que vous avez à constituer, un protocole doit être élaboré.
19
La définition des objectifs visés permet également de déterminer quels locuteurs enregistrer et dans quelle(s) situation(s) le faire
-----> objectifs de cette tâche = gagner en représentativité
-----> réflexion sur l’échantillon à retenir.
La réponse à ce point dépend crucialement des variables étudiées.
20
Avant de vous lancer dans l’enregistrements ou la saisie des documents pour vos corpus, il est donc capital :
que vous formuliez des hypothèses sur votre objet d’étude;
que vous réfléchissiez à la meilleure façon de collecter des données compte tenu de votre objet d’étude;
que vous choisissiez quels locuteurs enregistrer (ou quels types de données collecter) et comment y parvenir.
----> Cela aboutira à la construction d’un protocole d’enquête. 21
Il ne suffit pas d’avoir enregistré des données pour avoir un corpus. pour les corpus oraux, c’est assez évident (numérisation, transcription
orthographique, etc.); pour les corpus écrits, nous pourrions penser que l’essentiel est fait.
En fait, dans un cas comme dans l’autre, il faut impérativement documenter le corpus, c’est à dire élaborer une documentation dans laquelle seront exposés : les choix faits pour sélectionner les documents ou locuteurs ; les principes d’annotation utilisés ; le contenu des documents ou des enregistrements; les accords/ droits.
22
« Sans une documentation jointe, un corpus est mort-né. L’un des dangers de la facilité actuelle de rassembler des textes électroniques est précisément que les objectifs de regroupement ainsi que ceux des annotations effectuées ne soient pas enregistrés : le corpus cesse d’être utilisable dès que se perd la mémoire de ces choix.
La documentation doit couvrir deux volets distincts : les sources utilisées et la responsabilité éditoriale de constitution du corpus d’une part, les conventions d’annotation d’autre part. » Habert et al. (1997b), p. 156
23
Pour construire un corpus, il est essentiel:
d’élaborer un protocole dans lequel sont décrits les choix faits pour sélectionner les locuteurs, pour les enregistrer, etc.;
de prévoir une documentation et des conventions afin que les données définitives apparaissent dans un format comparable.
24
"
Documentation et transcription
Quelques questions
25
Situation du problème (1)
L’intérêt d’un corpus est double :
Qu’il puisse être annoté et enrichi pour en faciliter l’utilisation
Qu’il puisse facilement être réutilisable par d’autres que par ceux qui l’ont développé.
Situation du problème (2)
Pour que ces deux objectifs soient satisfaits, il est nécessaire :
de fournir une documentation pour tout corpus. Cette dernière doit contenir des informations sur le contenu/ les textes du corpus (locuteur, situation modalité d’enregistrement), mais aussi sur les annotations (quels types d’annotation ? phonétique, POS, discours, etc. Comment ? quelles étiquettes ? etc.) ;
de proposer un standard (ou au moins de tendre vers un standard) dans la constitution des annotations (que transcrire ? Quelle orthographe ? Quelles étiquettes pour les formes d’annotation ?)
Situation du problème (3)
Depuis le début des années 90, des réflexions visant à la standardisation ont vu le jour :
le TEI : il rassemble des chercheurs de différentes disciplines et de différentes nationalités pour proposer des conventions sur la typologie des documents et des recommandations sur les choix des étiquettes pour annoter les corpus. Il propose un ensemble concret de Standard Generalised Markup Language (SGML) Document Type Definitions (DTDs).
CES et EAGLES regroupent des chercheurs de la communauté européenne qui tentent de proposer des recommandations en vue de la transcription et l’annotation de différents types de corpus. Les recommandations sont généralement en conformité avec les travaux du TEI, mais elles s’inspirent aussi des travaux anglo-saxons en linguistique de corpus. The CES propose un niveau minimal d’annotation que tout corpus doit satisfaire pour être jugé en conformité avec les standard.
Recommandations (1)
Les recommandations proposées portent aussi bien sur :
Les annotations qui ajoutent des informations
La transcription orthographique.
Dans tous les cas, elles insistent sur le fait que les annotations ou informations doivent figurer sur des documents autres que les textes eux-mêmes.
Recommandations (2)
Pour ces informations, appelées METADATA, outre celles qui servent à identifier et caractériser le corpus, une distinction peut être faite entre :
Les metadata éditoriales qui donnent des infos sur l’édition du corpus (transcription, modalités, etc.);
Les métadata analytiques, notamment pour les annotations linguistiques;
Les metadata descriptives (information sur le corpus, les révisions, etc.)
Pourquoi des standards et des
recommandations (1)
Les corpus, même oraux, existent dans de nombreux domaines : analyse de conversation, Analyse du discours, pragmatique, linguistique des interactions, phonologie, etc.
Ils sont utilisés à des fins divers : description, dimension sociale, etc.
Plusieurs traditions sous jacentes, y compris le papier et le crayon;
Nécessité de trouver des consensus en vue de traitement ultérieurs.
Exemples (1)
Exemples (2)
Pourquoi des standards et des recommandations (2)
Malgré les différences, plusieurs points communs dans la transcription de l’oral :
- Qui parle ?
- La structure temporelle avec des découpages en séquences, voire des chevauchements;
- Les unités de bases : mots, pauses, le non-verbal, le para-verbale, les marques d’inintelligibilité, etc.
Pourquoi des standards et des recommandations (3)
Pourquoi des standards et des recommandations (4)
L’intérêt des corpus (1)
Exemple concret : le projet PFC Idée : avoir une idée du français actuel`
Modalités d’enregistrement
Données enregistrement
37
L’intérêt des corpus (2)
Etude de la liaison : lecture d’un texte
« Le Premier Ministre ira-t-il à Beaulieu?
Le village de Beaulieu est en grand émoi. Le Premier Ministre a en effet décidé de faire étape dans cette commune au cours de sa tournée de la région en fin d'année. Jusqu'ici les seuls titres de gloire de Beaulieu étaient son vin blanc sec, ses chemises en soie, un champion local de course à pied (Louis Garret), quatrième aux jeux olympiques de Berlin en 1936, et plus récemment, son usine de pâtes
38
L’intérêt des corpus (3)
italiennes. Qu'est-ce qui a donc valu à Beaulieu ce grand honneur? Le hasard, tout bêtement, car le Premier Ministre, lassé des circuits habituels qui tournaient toujours autour des mêmes villes, veut découvrir ce qu'il appelle "la campagne profonde".
Le maire de Beaulieu - Marc Blanc - est en revanche très inquiet. La cote du Premier Ministre ne cesse de baisser depuis les élections. Comment, en plus, éviter les manifestations qui ont eu tendance à se multiplier lors des visites officielles ? La côte escarpée du Mont Saint-Pierre
39
L’intérêt des corpus (4)
qui mène au village connaît des barrages chaque fois que les opposants de tous les bords manifestent leur colère. D'un autre côté, à chaque voyage du Premier Ministre, le gouvernement prend contact avec la préfecture la plus proche et s'assure que tout est fait pour le protéger. Or, un gros détachement de police, comme on en a vu à Jonquière, et des vérifications d’identité risquent de provoquer une explosion. Un jeune membre de l'opposition aurait déclaré: "Dans le coin, on est jaloux de notre liberté. S'il faut montrer patte blanche pour circuler, nous ne répondons pas de la réaction des gens du pays. Nous avons le soutien du
40
L’intérêt des corpus (5)
village entier. ». Quelques fanatiques auraient même entamé un jeûne prolongé dans l'église de Saint Martinville.
Le sympathique maire de Beaulieu ne sait plus à quel saint se vouer. Il a le sentiment de se trouver dans une impasse stupide. Il s'est, en désespoir de cause, décidé à écrire au Premier Ministre pour vérifier si son village était vraiment une étape nécessaire dans la tournée prévue. Beaulieu préfère être inconnue et tranquille plutôt que de se trouver au centre d'une bataille politique dont, par la télévision, seraient témoins des millions d’électeurs. "
41
L’intérêt des corpus
Grille d’analyse :
42
