XML TEI : un outil méthodologique pour la recherche en SHS

Introduction à XML-TEI. Enjeux et perspectivesEHESS – 3 février 2010

Nicole DufournaudIngénieure de recherche - CESR Tours

Chercheuse en Histoire

Une expérimentation personnelle et collective :vers une communauté !

● En 1996-1997 : projet Emma● De 1998 à 2007 : maîtrise, DEA et thèse

– Edition et analyse des textes en SGML/TEI puis XML/TEI

● A partir de 2004/2005 : CESR Tours, cours de Master Pro (½ journée puis 2 jours)

● 2006/2007 : projet Millefeuille, mise en place du projet

● De mai 2007 à mars 2010 : CESR univ. Tours, projet BVH

Plan● Notions de base :

– Les éditeurs– La structuration de données– L'encodage

● Un meta-langage : XML● Un outil d'édition, de diffusion et d'analyse : TEI

(Text Encoding Initiative ou Text Encoding for Interchange ! ) : expérimentations personnelles

● Les enjeux et les perspectives : la visualisation exploratoire

Editeur de textes graphiques et structuration des données

● Différences entre un éditeur, un traitement et un formateur de textes

– Aspect graphique : Word● Anciennement « traitement de textes »● « Editeur de textes graphiques »● « WYSIWYG »

– Aspect structurel hiérarchique : Latex● Anciennement « formateur de textes »● « Editeur de documents structurés »

puis HTML et XML

Editeur graphique et structuration des données

● Pour diffuser un texte, pourquoi NE PAS utiliser Word fait pour la publication papier ?

– Est-ce un langage compréhensible pour la machine ?

● Pour échanger un texte, pourquoi NE PAS utiliser Word fait pour la publication papier ?

– Peux-t-on y distinguer les modifications d'origine, les interventions diverses ?

Structurer des données● C'est convertir des données (textuelles) dans un

format exploitable par un ordinateur● Dans le contexte des documents numériques,

c’est :– Utiliser un langage formel de marquage pour décrire

un texte sous la forme d’une suite de phénomènes textuels et paratextuels qualifiant et structurant le texte.

● Le document numérique est alors exploitable par l'humain ET par la machine.

● Exemple d'un format compris par la machine : HTML : site de l'EHESS !

Un document

EHESS - 3 février 2010 8

Almanachs Royaux / Nationaux / Impériaux

Structure du documentExemple d'un livre imprimé● La page de titre

– Le titre– Les pièces liminaires

● Privilège● Dédicace● Préface...

● Le texte– Le corps du texte– Un groupe de textes : recueils

● Les pièces annexes

Structure du document

● Le corps du texte– Les divisions avec leur en-tête ou titre

● Les chapitres● Les paragraphes● Les strophes...

– La mise en valeur typographique : le rendu● Les notes● Les marges● Les tableaux et les listes● Les illustrations

En histoire

Pourquoi structurer ses données ?

Comment structurer ses données ?

En histoire

● Pourquoi structurer ?– Méthode traditionnelle :

● Hypothèse● Sources● Vérification de l'hypothèse

– Méthode à l'ère du numérique● Données numériques en nombre croissant● Exploitation difficile par la machine

● Voir article de Ben Shneiderman « Science 2.0 » http://www.cs.umd.edu/~ben/Science%202%200-AAAS-3-7-2008.pdf

Comment structurer ?

● « Un format d'échange s'exprime dans un encodage qui explicite une théorie concernant un aspect quelconque d'un document » Lou Burnard, Oxford University

● Les limites de l'encodage– Tout encodage est une interprétation– Aucun langage d'encodage ne peut

prétendre être complet● Les atouts de l'encodage

– Permet l'exploration– Donne des idées

XML/TEI

● TEI est un projet pluridisciplinaire pour uniformiser le codage de documents en vue de leur échange : recommandations pour un standard d'échange

● TEI a besoin d'un environnement : XML, Eclipse, HTML, XSLT, etc.

● XML est un meta-langage pour aider à la saisie d'un texte en le structurant.

● XML/TEI : outil d'édition, de diffusion et d'analysed'analyse

XML

● XML représente :– les données structurées hiérarchiquement– une arborescence composée de parents et

d'enfants● XML est « indépendant »● XML a une syntaxe qui doit être respectée

http://www.tei-c.org/

● Les enjeux :– « Faciliter la création, l'échange et

l'intégration des données textuelles informatisées » (Lou Burnard)

● Les buts :– « Préférer les solutions générales à celles

spécifiques à une discipline » (Lou Burnard)

● mais système modulaire !

http:www.tei-c.org

http://www.tei-c.org/

● Pour structurer, il faut baliser !● Pour baliser, il faut utiliser des éléments et

des attributs

Principes de balisage● L'élément est la structure de base marquée par

une balise de début et une balise de fin– La balise ouvrante se marque avec des chevrons :

<...> ; pour la balise fermante une barre oblique est ajoutée </...> :

● exemple <...>...</...> ; si le contenu est vide, les balises se raccourcissent :

● Exemple <.../> soit une barre oblique APRES le contenu

– Exemple :<title>Le Tiers Livre</title><lb/>

Principes de balisage● Deux règles essentielles dans XML :

● la syntaxe des balises● Règle d'imbrication stricte : il est interdit de faire

chevaucher les éléments, par exemple :<title><p>Le Tiers Livre</title></p>

● Hierarchie : une certaine catégorie d'éléments est imbriquée dans une autre catégorie :

● <addrLine> est toujours imbriqué dans <address>● <date> est parfois utilisé seul ou parfois imbriqué dans

d'autres éléments comme <bibl>

Principe de balisage● Balisage formel et typographique qui permet :

– une transcription structurelle :● <div> et <head>● <p>

– Un respect de la mise en forme :● <lb>● <fw> pour Forme Work pour les en-tête et pied

de page● Balisage sémantique : éléments analytiques

succincts● <persName><date> <geogName><address>

Principe de balisage● L'attribut est un paramètre associé à un élément

– Il fournit une description de l'élément● Exemple : @n● <pb n="1"/> 1 étant la valeur de l'attribut

– Autres attributs :● @type● @rend

● Certains éléments sont également des attributs:– Exemple : <hand> et @hand

Présentation du fichier<teiHeader>...

</teiHeader> <text> <body> <div>

...

</div>

</body>

</text>

Transformation

● La feuille de style– XSLT : transforme du XML en HTML– Elle est documentée

● Elle est générée automatiquement avec les schéma

● Elle permet :– D'afficher en html avec un ou plusieurs rendu

possibles– Des traitements par les ordinateurs

Les enjeux

● TEI: un outil d'édition, de diffusion et d'échange

● TEI: un apport pour la Recherche en SHS– Analyses– Visualisation

Expérimentation personnelle : travaux universitaires en histoire

● Thèse : « Rôles et pouvoirs des femmes au XVIe siècle dans la France de l'Ouest »

– Un sujet à controverse– Pas de données sérielles– Sources difficiles : à lire et à comprendre

● Maîtrise : « Comportements et relations sociales en Bretagne vers 1530, d'après les lettres de pardon »

– Source difficile– Étude qualitative et quantitative : analyse sérielle

● Projet Emma

Projet Emma : 1995-1998

Expérimentation personnelle en histoire

● Maîtrise et DEA : 150 lettres de pardon.– Volonté de :

● Diffuser et échanger ● Dépouiller par un moyen informatique● D'analyser des données informatiquement

pour une exploitation informatique des résultats

– Recherche d'un format de codage de texte dit « structuré » comme support

Expérimentation personnelle en histoire

● TEI semble idéal !– Convention commune pour diffuser et échanger– Langage compréhensible pour la machine en vue

de traitements informatiques– Rend la transcription exhaustive exploitable,

analysable et réutilisable– Garde la diplomatique à l'inverse des BDD– Peut mettre en relation des données– Lie les analyses aux sources pour vérification

Expérimentation personnelle en histoire avec un informaticien

● Méthodologie : trois étapes– Saisie de la transcription exhaustive avec encodage

typographique et formel en SGML/TEI P3● Affichage grâce à une feuille de style élaborée

– Enrichissement en TEI (noms, dates, lieux, typologies)

● Production d'index – Encodage analytique en TEI avec liaison d'une grille

de dépouillement

EHESS - 3 février 2010 30

Etape 0-Transcription diplomatique

[11] en la compagnie de il et Jehanne Serance, lors sa femme, Jehan[12] durandiere et sa femme, mere dudit Leserclier, et pareillement[13] André Serance, oncle paternel de ladite Jehanne Serance, durant[14] lequel soupper ilz firent assemblement bonne chere et aprés[15] iceluy soupper et que iceulx Durandiere, sa femme, André Serance[16] et autres s'en furent allez et retirez chacun en sa maison sans[17] avoir noyse ne parolles de rigueur, arriva oudit villaige de[18] Bonhardy prés la maison desdits Leserclier et sa femme ung nommé[19] Mace Chassé qu'il dist a ladite femme Leserclier par celles[20] parolles : « Voz beuffs sont en mes naveaulx et y ont esté[21] par troys foiz ; vous n'en couvrirez voz bledz de troys jours ». A quoy[22] ladite Jehanne Serance, femme dudit Leserclier, luy respondit[23] et dist que les luy eust renduz et que elle eust baillé[24] a iceluy Chassé ung grant pain sans que ledit Leserclier, son[25] mary en eust eu congnoissance, quelles parolles ledit[26] Leserclier entendit et dist lors a ladite Jehanne Serance[27] par semblables parolles : « Jehanne, prenon ses porcs qui sont[28] a rompre noz pailliers et les mectons en parc », esperant celuy[29] Leserclier que les porcs qui estoint prés le paillier dudit[30] Leserclier apartenseissent audit Chassé. A quoy ladite[31] Jehanne respondit : « Ilz ne sont pas a luy, ilz sont a nous ».[32] En l'endroit de quoy ledit Leserclier en courant aprés[33] lesdits pourceaux, dist a icelle Jehanne Serance sa femme :[34] « je vous avoys dit que votre chambriere et vous, eussiez mené[35] les beuffs en la close du pommier dessur ». Et ainsi courant[36] et disant celles parolles desplaisant de la prinse et[37] emparchement de ses dits beuffs, print iceluy Leserclier[38] une pierre qu'il trouva ou chemyn et la gecta rudement

Etape 1-Codage diplomatique

● Annotations éditoriales:– <sic> pour des erreurs manifestes– <abbr> pour les abréviations– <unclear> pour les mots incertains– <del> pour les ratures– <add> pour les ajouts– <note> pour des notes– etc.

EHESS - 3 février 2010 32

Codage et balisage diplomatique TEI

[11] en la compagnie de il et Jehanne Serance, lors sa femme, Jehan[12] durandiere et sa femme, mere dudit Leserclier, et pareillement[13] André Serance, oncle paternel de ladite Jehanne Serance, durant[14] lequel soupper ilz firent assemblement bonne chere et aprés[15] iceluy soupper et que iceulx Durandiere, sa femme, André Serance[16] et autres s'en furent allez et retirez chacun en sa maison sans[17] avoir noyse ne parolles de rigueur, arriva oudit villaige de[18] Bonhardy prés la maison desdits Leserclier et sa femme ung nommé[19] Mace Chassé qu'il dist a ladite femme Leserclier par celles[20] parolles : « Voz beuffs sont en mes naveaulx et y ont esté[21] par troys foiz ; vous n'en couvrirez voz bledz de troys jours ». A quoy[22] ladite Jehanne Serance, femme dudit Leserclier, luy respondit[23] et dist que les luy eust renduz et que elle eust baillé[24] a iceluy Chassé ung grant pain sans que ledit Leserclier, son[25] mary en eust eu congnoissance, quelles parolles ledit[26] Leserclier entendit et dist lors a ladite Jehanne Serance[27] par semblables parolles : « Jehanne, prenon ses porcs qui sont[28] a rompre noz pailliers et les mectons en parc », esperant celuy[29] Leserclier que les porcs qui estoint prés le paillier dudit[30] Leserclier apartenseissent audit Chassé. A quoy ladite[31] Jehanne respondit : « Ilz ne sont pas a luy, ilz sont a nous ».[32] En l'endroit de quoy ledit Leserclier en courant aprés[33] lesdits pourceaux, dist a icelle Jehanne Serance sa femme :[34] « je vous avoys dit que votre chambriere et vous, eussiez mené[35] les beuffs en la close du pommier dessur ». Et ainsi courant[36] et disant celles parolles desplaisant de la prinse et[37] emparchement de ses dits beuffs, print iceluy Leserclier[38] une pierre qu'il trouva ou chemyn et la gecta rudement

Etape 2 - les annotations sémantiques

● <date> pour les dates● <name> pour les noms● <rs type="…">

– Toponyme pour les lieux– Arme pour les armes– Meubles, architecture, etc. suivant les

centres d’intérêts● <signed>

EHESS - 3 février 2010 34

Balisage sémantique TEI

Etape 3-l'encodage analytique● Encodage analytique

– TEI permet une liaison explicite entre le texte et une grille de dépouillement (inspirée de la thèse de C. Gauvard) :

● Diplomatique● Identité● Sort du coupable après le crime : prison, pilori, relax● Participants au crime● Déroulement du crime● Octroi du pardon royal

– Cette grille pouvait être enrichie incrémentalement● à mesure de l’évolution du travail de transcription, et● de l’évolution de la réflexion.

EHESS - 3 février 2010 36

Analyse à l’aide de mécanismes TEIInterprétation

Intercesseur (Personnage) parens et amys

Victime (Personnage) Jehanne Serance

Relation criminel/intercesseur (Personnage) consanguins de notre povre subgect

Nom du criminel (Personnage) Pierre Leserclier

Statut social du criminel (Statut) homme de labeur

Statut social de la victime (Statut) lors sa femme

Moment du crime (Date) aprés iceluy soupper

Motif du crime (Motif) parolles desplaisant

Lieu du crime (Lieu) Bonhardy

Circonstance atténuante (Circonstance) qui est chargé de petiz enfans orphelins avoit auparavant bien et honnestement vescu et entretenu icelle sadite femme et enfans sans jamais avoir esté accusé ni convancu dautre cas reprouchable

Date du crime (Date) dimanche, dernier jour de septembre dernier

Date du jugement (Date) moys d'octobre l'an mil cinq cens vingt

Type du crime (Crime) de vie a trespas

Elément volé (Objet) None

Expérimentation personnelle : maîtrise en histoire

● Le fichier TEI :<lb n="19">et ce pour raison de labourer et recrue<index level1="recrue"> que faisoit...

● Le fichier glossaire :<div type="glossaire"> <list type="gloss"> <label id="abrevier"><term>Abrévier</term></label> <item><gloss>abréger, raccourcir, résumer.</gloss></item>... <label id="recrue"><term>Recrue</term></label> <item><gloss>aménagement d'une parcelle cultivée conquise sur un terrain inculte</gloss></item>...</list></div>

Expérimentation personnelle : maîtrise en histoire

● Les outils : Jean-Daniel Fekete (Ecole des mines de Nantes puis INRIA)

– Editeur : Emacs– Encodage TEI : SGML/TEI Lite et P3– Traducteur avec Perl pour la mise en page, et vers

HTML pour lier automatiquement les lettres à leurs images.

– Puis XSL (devenu XSLT), et surtout XML.● Les traitements :

– Un testeur d'intégrité sémantique – un indexeur, un générateur de table, des filtres pour

retirer l'encodage

Expérimentation personnelle : maîtrise en histoire

● Les résultats en 1999– Production automatique de tables d'analyses sous un

tableur ; elles deviennent des instruments de travail : réalisation d'études statistiques

– Production de multiples index qui croisés permettent ● Un travail d'écriture facilité● De tester l'intégrité de l'encodage : une lettre de

pardon comprend toujours un crime !– L'exploitation historique en est simplifiée et corroborée

; les analyses sont vérifiables et réutilisablesC'est une méthode scientifique !

Expérimentation personnelle : thèse en histoire

● En 2007 : – Thèse sur les « Rôles et pouvoirs des

femmes au XVIe siècle dans la France de l'Ouest »

● Un sujet à controverse● Pas de données sérielles● Sources difficiles : à lire et à comprendre

Méthode de science dure : accumulation de cas.

Expérimentation personnelle : thèse en histoire

● Variantes : – Diversité des sources– Nombre plus élevé : 1000 textes saisis et

encodés● Trop de données numériques

– Grille de dépouillement refaite complètement– Mise en relation directe entre le texte de la

thèse et les références (voir la thèse en ligne)

– De la visualisation pour l'analyse et l'exploration

Exploration des données : Infozoom

EHESS - 3 février 2010 44

Liaison texte/référence en ligne http://nicole.dufournaud. net

Expérimentation personnelle : thèse en histoire

● Utiliser TEI :– a permis de référencer les analyses et de les vérifier– c'est aller au-delà d'une simple publication :

● pour faciliter :– le dépouillement– l'analyse– la production de résultats

● pour réutiliser le processus pour d'autres analyses ultérieures (maîtrise puis thèse)

Cette méthode est une véritable aide pour l'historien à établir des interprétations qui se vérifient par les textes de sources primaires

Visualisationhttp://www.aviz.fr/

● Lorsqu’on a des données et qu’on cherche des questions intéressantes, on doit explorer.

● Principe de l’analyse exploratoire : – utiliser nos capacités visuelles pour détecter des

phénomènes inattendus● Spécialité ancienne, la visualisation est une aide à

l'analyse (voir les travaux de J. Bertin). – L'interactivité l'enrichit énormément.

● Inconvénient : difficile à utiliser sur des données non ou semi structurées.

● Objectifs : vue d'ensemble, construction d'hypothèses et analyses.

http://xkcd.com/657/

EHESS - 3 février 2010 4923 janvier 2009 Histoire sociale des pouvoirs politiques 2008-2009

Coocc urrenc es de perso nnes

dans l a biblehttp://m

anye yes.a lphaworks.ib m

.com/

manye yes/u sers/c rossw

ay

EHESS - 3 février 2010 50

Co-publication INRIA Saclay (04-08)

Histoire sociale des pouvoirs politiques 2008-2009

EHESS - 3 février 2010 51

Visualisation de la visite d’hôtels

Visualisation et TEI

● Text Encoding Initiative– TEI est une norme qui structure du contenu

d'un document– TEI ne permet pas de montrer

graphiquement des analyses– TEI ne s'intéresse qu'au caractère

● La Visualisation est une autre technologie● Associer TEI avec la visualisation permet de

faire une édition graphique des analyses structurelles d'un texte

Extraction de données /calculs et graphiques

● Quelques exemples :– Nombre de lettres de grâce par année– Délais entre le crime et la rémission au 16e

siècle en Bretagne– Compus et la visualisation XML– Réseaux sociaux– Arbres généalogiques– Carte des lieux mentionnés– Diagrammes de flux liés à la généalogie

EHESS - 3 février 2010 55

Graphique n° 3 : Nombre de lettres de grâce par année

0

10

20

30

40

50

60

70

80

90

100

1525 1526 1527 1530 1531 1532 1533 1534 1535 1538 1550 1556 1559 1562 1563 1573 1574

Année

Nom

bre

de le

ttres

Nbre de lettresNbre de mois en compteLettre par an

Visualisation statique

EHESS - 3 février 2010 56

• Délais entre le crime et la rémission:<docdate ana="diplomatique-date-signature-chancellerie"

value="04/01/1531">4 janvier 1530</docdate><date ana="crime-date" value="24/10/1529">vingt quatriesme

<abbr>jour</abbr> d'octobre dernier</date>

Graphique n° 4 : Délais entre le crime et la rémission

0

50

100

150

200

250

300

04/0

1/31

18/0

1/31

01/0

2/31

15/0

2/31

01/0

3/31

15/0

3/31

29/0

3/31

12/0

4/31

26/0

4/31

10/0

5/31

24/0

5/31

07/0

6/31

21/0

6/31

05/0

7/31

19/0

7/31

02/0

8/31

16/0

8/31

30/0

8/31

13/0

9/31

27/0

9/31

11/1

0/31

25/1

0/31

08/1

1/31

22/1

1/31

06/1

2/31

20/1

2/31

03/0

1/32

17/0

1/32

31/0

1/32

14/0

2/32

28/0

2/32

13/0

3/32

27/0

3/32

10/0

4/32

24/0

4/32

08/0

5/32

22/0

5/32

05/0

6/32

Date de la ré m is s ion

Dél

ais

en m

ois

Compus et la visualisation XML

EHESS - 3 février 2010 58

Arbres généalogiques

23 janvier 2009 Histoire sociale des pouvoirs politiques 2008-2009

EHESS - 3 février 2010 59

EHESS - 3 février 2010 60

Aide à la narration

Réseau social

Carte des lieux mentionnés

Conclusion

● Après l'ère de la mise en page, celle du contenu :

– structurer un texte rend explicite le sens du texte !

● TEI est aussi :– un instrument d'analyse– un outil qui permettra l'exploration

d'une quantité de données en augmentation constante

4 grandes idées – Lou Burnard

● Il faut maîtriser l'ordinateur car c'est notre manière de nous exprimer maintenant ! TEI y nous aide.

● Le texte a une structure et une signification● Le « balisage explicite » s'intéresse plus au

contenu qu'à la mise en page !● Le texte est quelque chose d'abstrait :

– La construction du texte vient des lecteurs :● Gardez le texte original !

Perspectives

● Problèmes récurrents :– Réseaux sociaux– Arbres généalogiques– Analyses textuelles : textométrie– Variantes

● Des outils d'analyse et d'exploration sont mûrs mais il manque la connexion entre les données et les outils

– Avec une seule convention commune : TEI

Les références Internet

● http://nicole.dufournaud.net● http://www.aviz.fr● http://xkcd.com/657/large/● http://tei-c.org/● http://www.cn-telma.fr/● http://www.bvh.univ-tours.fr/● http://www.cs.umd.edu/~ben/Science%202%200-AAAS-3-7-2008.pdf

EHESS - 3 février 2010 68

Publications● N. Dufournaud. Manuel d’encodage XML-TEI Renaissance et temps modernes Imprimés –

manuscrits : Recommandations pour une application TEI. Projet BVH, Bibliothèques Virtuelles Humanistes : http://www.bvh.univ-tours.fr/XML-TEI. Juillet 2009.

● N. Dufournaud and J-D. Fekete. Comparaison d'outils pour la visualisation de sources historiques codées en XML/TEI. Document Numérique, 9(2):37–57, 2006, Hermès – Lavoisier.

● J-D. Fekete and N. Dufournaud. Compus: visualization and analysis of structured documents for understanding social life in the 16th century. In Proceedings of the fifth ACM conference on Digital libraries, pages 47–55, 2000. ACM Press.

● J-D. Fekete and N. Dufournaud. Analyse historique de sources manuscrites : application de TEI à un corpus de lettres de rémission du XVIe siècle. Document Numérique, numéro spécial “Les documents anciens”,, 3(1–2):117–134, 1999, Hermès – Lavoisier.

● J-D. Fekete and N. Dufournaud. Utilisation de TEI comme support méthodologique au dépouillement de sources manuscrites. In Actes du Vième Colloque National de L'Association Française pour l'Histoire et l'Informatique (AHI), November 1998.

● J-D. Fekete. Expérience de codage de document à intérêt graphique à l'aide de TEI. In Actes du congrès Eurotex 98, pages 131–142, Saint Malo, March 1998.