Embed Size (px)
Citation preview
Université catholique de LouvainFaculté de Philosophie, Arts et Lettres
GÉNÉRATION AUTOMATIQUE DEQUESTIONS À PARTIR DE TEXTES EN
FRANÇAIS
Mémoire présenté parLOUIS DE VIRON
en vue de l’obtention du diplôme deMASTER EN LINGUISTIQUE
à finalité spécialisée en Traitement Automatique du Langage
PROMOTEUR : DR. RICHARD BEAUFORT
Année académique 2010-2011
REMERCIEMENTS
Au moment de conclure ce mémoire, et de facto mes cinq années d’études, jetiens à adresser quelques remerciements aux personnes qui m’ont aidé à faire decette période un passage inoubliable, tant sur le plan personnel que sur le plan
académique.
Je remercie d’abord Monsieur Richard Beaufort, mon promoteur, pour ces deuxannées de collaboration qui ont abouti au présent travail. Ses nombreux conseils,
ses remarques, son souci de la perfection et les entretiens qu’il m’a accordésm’ont beaucoup appris et j’espère qu’ils auront contribué à faire de ce mémoire
un travail de qualité.
Je tiens également à exprimer ma profonde gratitude à Mesdames DelphineBernhard et Véronique Moriceau, ainsi qu’à Monsieur Xavier Tannier pour leurencadrement d’une qualité exceptionnelle durant les deux mois de stage passésau LIMSI. Leurs conseils et encouragements à aller de l’avant m’ont énormémentstimulé et fait progresser. Je remercie aussi tous les membres du groupe ILES pour
l’agréable accueil qu’ils m’ont réservé parmi eux.
Merci à Mademoiselle Alice Bardiaux pour sa relecture attentive de ce travail età Monsieur Michael Zock pour ses précieux conseils critiques.
Si ces deux années de master en linguistique furent un succès pour moi et unesi bonne formation, je le dois également à un encadrement de qualité. C’est
pourquoi je tiens à remercier Messieurs Sébastien Combéfis, Thomas François etHubert Naets pour leur disponibilité à toute épreuve.
Je remercie également Mademoiselle Louise-Amélie Cougnon de m’avoirproposé une première immersion professionnelle dans le monde du TAL, et les
autres membres du CENTAL qui m’ont chaleureusement accueilli parmi eux pourmon baptême de feu dans le monde de la recherche en juin dernier à Montpellier.
3
On ne réalise heureusement pas ses études tout seul et si j’ai pu passerd’agréables moments sur les bancs des auditoires – et en dehors – durant ces deux
années de master, je le dois à mes fidèles camarades de promotion Florence,Stéphanie, Cédric et Denis. Merci à vous pour cette entraide et l’amitié que nous
avons pu nouer dans l’« adversité ».
Je m’en voudrais d’oublier tous ceux qui ont partagé ma vie estudiantine et quiont collaboré à mon accomplissement extra-académique durant ces cinq années.Je pense à mes amis du Campagnol, du Cercle FLTR, de l’ANLO, de la Schola, desBlancs Chevaux, d’UTUC, à mes Amis de La Rue, et plus particulièrement à tous
ceux qui ont accompagné mon quotidien, à la Rue des Sports et à La Coquille.
Enfin, j’adresse mon dernier – et non le moindre – remerciement à Brieuc,Aymeric et Éléonore pour leur complicité fraternelle ainsi qu’à mes parents, quim’ont donné la chance inestimable d’entamer des études et les moyens de les
achever, grâce à un soutien sans faille et une écoute toujours attentive.
Louis de VironAoût 2011
4
TABLE DES MATIÈRES
Remerciements 3
Introduction 12
I État de l’art 17
1 La notion de question : définition, typologie et structure 19
1.1 Définition et typologie . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.1.1 Classification linguistique . . . . . . . . . . . . . . . . . . . . . 21
1.1.2 Catégorisation conceptuelle . . . . . . . . . . . . . . . . . . . 23
1.1.3 Synthèse : une classification « mixte » . . . . . . . . . . . . . . 29
1.2 La question d’un point de vue formel . . . . . . . . . . . . . . . . . . 31
1.2.1 Le marquage des questions . . . . . . . . . . . . . . . . . . . . 31
1.2.2 Les mots interrogatifs . . . . . . . . . . . . . . . . . . . . . . . 32
1.2.3 L’inversion sujet-verbe . . . . . . . . . . . . . . . . . . . . . . . 36
1.3 De la déclarative à l’interrogative : les règles transformationnelles
de Langacker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
5
1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2 Génération automatique et génération automatique de questions 49
2.1 La génération automatique de textes . . . . . . . . . . . . . . . . . . 50
2.2 La génération automatique de questions . . . . . . . . . . . . . . . . 56
2.2.1 Les débuts : Les travaux de John Wolfe . . . . . . . . . . . . . 58
2.2.2 Une étude de Donna Gates . . . . . . . . . . . . . . . . . . . . 60
2.2.3 Heilman et Smith et l’apport de la simplification . . . . . . . 62
2.2.4 Kalady et l’apport des questions définitoires . . . . . . . . . . 64
2.2.5 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.3 Confrontation des deux domaines . . . . . . . . . . . . . . . . . . . . 67
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
II Implémentation d’un outil de génération automatique de
questions pour le français 73
3 Présentation des outils utilisés 75
3.1 XIP : un analyseur syntaxique robuste . . . . . . . . . . . . . . . . . . 75
3.2 Tregex et Tsurgeon : manipulation d’arbres syntaxiques . . . . . . . 77
3.2.1 Tregex . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.2.2 Tsurgeon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.2.3 Intérêt pour notre démarche . . . . . . . . . . . . . . . . . . . 80
3.3 Morflex : un fléchisseur morphologique . . . . . . . . . . . . . . . . . 81
3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4 Architecture du système 83
4.1 Pré-traitements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.2 Le générateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.2.1 Typologie des questions générées . . . . . . . . . . . . . . . . 87
6
4.2.2 Présentation générale de l’algorithme . . . . . . . . . . . . . . 89
4.2.3 Structure de base d’une règle . . . . . . . . . . . . . . . . . . . 89
4.2.4 Détail des différentes règles . . . . . . . . . . . . . . . . . . . . 90
4.2.5 Traitement des inversions . . . . . . . . . . . . . . . . . . . . . 93
4.3 Post-traitements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.4 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5 Évaluation 97
5.1 Procédure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.2 Résultats et interprétations . . . . . . . . . . . . . . . . . . . . . . . . 100
5.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6 Conclusion : apports et limites 113
III Perspectives 115
7 Problèmes rencontrés et solutions envisagées 117
7.1 Problèmes typographiques . . . . . . . . . . . . . . . . . . . . . . . . 117
7.2 Erreurs dues à l’analyseur . . . . . . . . . . . . . . . . . . . . . . . . . 120
7.3 Questions bruitées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
7.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
8 Une plus grande variété de questions 129
8.1 Élargissement de la typologie . . . . . . . . . . . . . . . . . . . . . . . 130
8.1.1 Questions en quel . . . . . . . . . . . . . . . . . . . . . . . . . . 130
8.1.2 Questions de quantité et de mesure . . . . . . . . . . . . . . . 134
8.1.3 Questions introduites par pourquoi . . . . . . . . . . . . . . . 136
8.1.4 Questions introduites par comment . . . . . . . . . . . . . . . 138
8.1.5 Questions sur les sigles et les acronymes . . . . . . . . . . . . 139
7
8.1.6 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
8.2 Génération de paraphrases sur les questions . . . . . . . . . . . . . . 141
8.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
Conclusion générale 147
Bibliographie 153
Table des figures 163
Liste des tableaux 165
Annexes 167
A Typologie des règles de simplification 169
B Corpus d’évaluation 171
8
« Le savant n’est pas l’homme qui fournit les
vraies réponses, c’est celui qui pose les vraies
questions. »
Claude LÉVI-STRAUSS
INTRODUCTION
Si le domaine des systèmes de questions-réponses 1 – consistant en la recherche
d’une réponse à une question donnée à partir d’une collection de documents –
est aujourd’hui en pleine expansion dans le monde du Traitement Automatique
du Langage (TAL), celui de la génération automatique de questions (GAQ) 2 est
largement moins populaire, du moins dans le monde francophone. En effet, alors
que de nombreuses recherches dans ce domaine ont été entamées pour l’anglais,
la littérature ne recense aucun article traitant de cette problématique en français,
à l’exception d’un travail d’étudiant introductif (Brette et Lescuyer, 2006).
La génération automatique de questions à partir de textes, dans sa forme ac-
tuelle, consiste en la transformation de phrases déclaratives en phrases interro-
gatives et constitue globalement l’opération inverse des systèmes de questions-
réponses. Grossièrement, elle part d’une réponse donnée sous forme de phrase
pour formuler la question correspondante. La tâche est complexe et mobilise
un grand nombre de ressources et outils du TAL, comme l’analyse syntaxique, la
résolution d’anaphores, la reconnaissance d’entités nommées ou encore la sim-
plification de texte. Les domaines d’application de ce type d’outil sont par ailleurs
variés et souvent motivés par un but pédagogique. Outre la création de tests et de
questionnaires à choix multiples, la génération automatique de questions peut
également servir à améliorer les systèmes de dialogue homme-machine ou les
systèmes de questions-réponses interactifs.
Notre mémoire se situe dans le contexte d’absence de ressources satisfaisantes
en français. Notre objectif est de proposer une méthodologie pour générer des
questions en français qui puisse mener à la création d’un outil concret. Pour ce
faire, une large réflexion théorique préalable est nécessaire pour implémenter
1. eng. : Question Answering (QA).2. eng. : Question Generation (QG).
13
un système performant. Dès lors, le présent travail se compose de trois parties,
articulées selon une dynamique temporelle que l’on pourrait qualifier de « passé-
présent-futur ».
Le passé. La première partie, intitulée état de l’art, définit le cadre théorique de
notre objet d’étude. Nous y posons les réflexions préalables à l’implémentation
d’un générateur de questions. D’une part, nous étudions en profondeur la notion
de question. D’autre part, nous présentons le domaine de la génération automa-
tique de questions à travers une comparaison avec la génération automatique de
textes et un état de l’art de la discipline qui présente les principaux outils existants
en anglais.
Le présent. La deuxième partie présente l’implémentation d’un générateur au-
tomatique de questions pour le français. Elle fait suite à des travaux réalisés en
2010 dans le cadre d’un stage de deux mois au LIMSI, sous l’encadrement de
Delphine Bernhard, Xavier Tannier et Véronique Moriceau. Nous y développons
en détail notre méthodologie et exposons les résultats que nous avons obtenus,
après les avoir soumis à une évaluation.
Le futur. La troisième partie suggère des pistes de réflexions pour les éventuels
développements futurs de notre travail. Nous nous basons sur les limites soulevées
par l’évaluation pour identifier les problèmes majeurs et proposer des solutions
pour y remédier. En outre, nous exposons des améliorations supplémentaires qui
mériteraient d’être implémentées pour rendre le générateur plus performant et
plus complet.
Par ce travail, nous espérons montrer l’intérêt de la génération automatique
de questions, souvent effacée au profit des systèmes de questions-réponses. Le
14
parallèle avec la citation de Lévi-Strauss qui ouvre ce mémoire est dès lors établi et
pourrait constituer un bon slogan pour résumer notre travail si elle était traduite
de la manière suivante :
« Le meilleur système n’est pas celui qui fournit les vraies réponses,
c’est celui qui pose les vraies questions. »
Nous n’irons pas si loin et notre intention n’est évidemment pas de provoquer
les chercheurs en questions-réponses, mais bien de montrer que la génération
automatique de questions est bel et bien un domaine qui mérite qu’on s’y attarde
quelque peu. Telle est la raison d’être de ce mémoire.
15
PREMIÈRE PARTIE
ÉTAT DE L’ART
Dans cette partie, nous présentons un état de l’art de la génération automa-
tique de questions. Le premier chapitre propose une large réflexion sur la notion
de question, que nous abordons selon deux points de vue principaux, en défi-
nissant d’une part une typologie des questions et d’autre part leur structure à
un niveau plus formel, tout en s’interrogeant sur les mécanismes mobilisés pour
passer d’une phrase déclarative à une phrase interrogative. Nous nous intéressons
ensuite au domaine de la génération automatique et au statut particulier que
revêt la génération de questions au sein de celui-ci. Nous présentons différentes
méthodologies utilisées en génération automatique de questions tout en réfléchis-
sant à ses différents domaines d’application, montrant que ce domaine d’études
est susceptible de donner lieu à de nombreuses applications concrètes.
18
CHAPITRE 1
LA NOTION DE QUESTION : DÉFINITION,
TYPOLOGIE ET STRUCTURE
Les phrases interrogatives ont fait l’objet de nombreuses études, notamment
en linguistique, en psychologie cognitive et en sciences de l’information et de la
documentation (Pomerantz, 2005 ; Moignet, 1966; Jacques, 1981). En traitement
automatique du langage, la recherche sur ce thème s’est surtout concentrée sur
le développement des systèmes de questions-réponses, donnant lieu à de nom-
breuses tentatives de typologies (Lehnert, 1978; Zock et Mitkov, 1991; Diekema
et al., 2003 ; Dang et al., 2006 ; Giampiccolo et al., 2007 ; Moriceau et al., 2010).
Dans ce chapitre, après une première définition très générale de la notion
de question, nous parcourons la littérature en vue d’établir une typologie de
questions qui puisse servir de base à la génération automatique. Nous étudions
ensuite la question d’un point de vue plus formel en examinant ce qui la définit
syntaxiquement et la distingue des phrases déclaratives. Enfin, nous présentons
un système de règles écrit par Langacker (1965) pour transformer des phrases
19
déclaratives en phrases interrogatives.
Le but de ce chapitre est d’obtenir une définition exhaustive de la notion de
question, qui a pour vocation de constituer une base théorique pertinente pour la
génération automatique.
1.1 Définition et typologie
Le Bon Usage (Grevisse et Goosse, 2007) définit la phrase interrogative de la
manière suivante :
« Par la phrase interrogative, on demande une information à l’interlocuteur. »
Complétant cette définition basique, les auteurs relèvent quatre types de ques-
tions :
– disjonctive : la question énonce une alternative (Tu sors ou je te sors ?)
– fictive : la question n’appelle pas de réponse (Qui sait ?)
– oratoire : on admet comme évidente la réponse à la question (Ne vous avais-
je pas averti ?)
– délibérative : le locuteur s’adresse à lui-même (Que faire à présent ?)
Zock et Mitkov (1991) notent que l’on peut classer les questions selon différents
points de vue. Ils en relèvent trois :
– Point de vue pragmatique, fonctionnel : ce point de vue fait référence à
la théorie des actes de langage (Searle, 1995; Austin, 1999). Les questions
sont classées selon l’acte qu’elles accomplissent. Néanmoins, cette théorie
est très descriptive et peu applicable concrètement dans un système de
génération. Nous ne l’abordons pas dans le cadre de ce travail.
20
– Point de vue linguistique : la classification passe outre le sens pour se baser
sur la forme et la structure des questions.
– Point de vue conceptuel : la typologie se base sur l’objet de la question (lieu,
temps...).
Cette section traite des classifications linguistique et conceptuelle en parcourant
les travaux de quelques auteurs qui s’y sont intéressés. Nous mettons en exergue
l’intérêt et la complémentarité de l’une et l’autre approche dans le cadre de la
génération automatique de questions.
1.1.1 Classification linguistique
Le Bon Usage (Grevisse et Goosse, 2007) opère deux distinctions au sein des
questions, menant à une première typologie basique :
1. Il oppose les phrases interrogatives directes, de forme interrogative (1) et
les interrogatives indirectes qui sont contenues dans une phrase énoncia-
tive, injonctive ou interrogative et introduites par un verbe de demande
(2).
(1) Reviens-tu demain à la maison?
(2) Il se demande si tu reviens demain à la maison.
Dans le cadre de ce travail, nous laissons de côté ce deuxième type d’interro-
gative pour se concentrer sur la formation des questions, entendues comme
des phrases interrogatives directes. Dorénavant, nous utilisons indifférem-
ment les termes question et phrase interrogative par souci de simplicité.
2. À l’instar de Danjoux-Flaux et Dessaux (1976), Le Bon Usage distingue les
phrases interrogatives globales ou totales (exemple 3) 1, dont la réponse
1. La littérature use indifféremment des appellations globales et totales.
21
peut-être oui ou non, des phrases interrogatives partielles, pour lesquelles
l’interrogation porte sur un élément que le locuteur ignore (exemple 4) 2.
(3) Reviens-tu demain ?
(4) Quand reviens-tu ?
Le tableau 1.1 synthétise cette opposition sur la base de différents paradigmes.
Question totale Question partielle
Mot interrogatif / pronom (qui, que, quoi, lequel,combien)déterminant (quel, combien de)adverbe (comment, où, pourquoi,quand)
Tournure est-ceque
en tête de phrase en tête de phrase, précédée du motinterrogatif
Portée de l’inter-rogation
sur le verbe (éventuellement en re-lation avec un autre élément)
sur un élément que le locuteurignore
Réponse oui/non conforme à l’interrogatif utiliséEx : Où va-t-il ? À Bruxelles (où -lieu)
Intonation montante en partie descendante
TABLEAU 1.1 – L’opposition questions totales - questions partielles
Certains auteurs ont également proposé de classifier les questions selon leur
mot interrogatif. On parle alors de classification en wh-words. Cette classification
regroupe tous les interrogatifs anglais commençant par wh- (who, what, which,
when, where, why), ainsi que l’adverbe interrogatif how 3. Robinson et Rackraw
(1972a; 1972b) définissent ces mots comme le panel complet des mots lexicaux
marqués interrogativement et qui peuvent être utilisés dans un environnement lin-
guistique similaire. Ces wh-words sont beaucoup utilisés en théorie journalistique.
2. Dans le domaine des systèmes de questions-réponses, on utilise également les oppositions« booléennes/factuelles » et « fermées/ouvertes ».
3. Les correspondants français de ces mots sont : qui, que/quoi, quel, quand, où, pourquoi etcomment.
22
Ils constituent en effet les éléments les plus importants qui doivent composer le
premier paragraphe d’un article (Pomerantz, 2005).
Avec ces sept mots, une autre typologie de questions se dégage. Certes, toutes
les questions ne s’y retrouvent pas – les questions totales, par exemples, sont
mises de côté – et cette typologie n’est donc pas exhaustive, mais elle offre un
début de classification intéressant.
Zock et Mitkov (1991) envisagent les limites de ce type de classification, relevant
l’ambiguïté possible de ces mots interrogatifs. Ils donnent l’exemple du mot
comment qui peut renvoyer à un état (5), à une méthode (6), à la valeur d’un
attribut (7) ou encore ou à des éléments plus spécifiques, comme par exemple un
moyen de transport (8).
(5) Comment vas-tu ?
(6) Comment as-tu résolu ce problème ?
(7) Comment est ta maison, rouge ou blanche ?
(8) Comment es-tu venu, en train ou à vélo ?
1.1.2 Catégorisation conceptuelle
Lehnert (1978) introduit la notion de focus pour établir une catégorisation
conceptuelle des questions. Elle définit le focus comme le concept qui incarne
l’attente d’information exprimée par la question et postule que, tant que son focus
n’est pas déterminé, une question ne peut être comprise clairement.
Exemple : dans la question « Où est né Barack Obama? », tant que le focus« compléter un concept » n’est pas clairement déterminé par l’interlocuteurou la machine qui doit fournir la réponse, la question n’est pas comprise etla réponse adéquate ne peut être fournie.
23
La typologie de Lehnert est reprise en français dans le tableau 1.2.
Catégorie Exemple
1 Antécédent causal Pourquoi Jean a-t-il quitté Paris ?2 Orientation vers un but Pourquoi Marie a-t-elle acheté ce livre ?3 Capacité Que doit-il faire pour gagner ?4 Conséquence causale Que s’est-il passé après qu’il est parti ?5 Vérification Est-il vraiment parti ?6 Disjonction Est-il à Londres ou à Glasgow ?7 Procédure Comment dois-je faire pour te rejoindre ?8 Compléter un concept Quand est-il arrivé ?9 Attente Pourquoi n’est-il pas parti ?10 Jugement Que devrait-il faire pour survivre ?11 Quantification Combien de personnes étaient présentes ?12 Spécification d’un élément De quelle couleur sont ses yeux ?13 Requête Peux-tu me passer le sel ?
TABLEAU 1.2 – La typologie conceptuelle de Lehnert
Graesser (1994) ajoute à cette typologie les cinq catégories reprises dans le ta-
bleau 1.3. Notons que la catégorie assertion correspond aux phrases interrogatives
indirectes que nous avons décidé de ne pas traiter dans le cadre de ce travail.
Catégorie Exemple
1 Comparaison Dans quelle mesure ces deux villes sont-elles comparables ?
2 Définition Qu’est-ce qu’une onde magnétique ?3 Exemple Qu’y a-t-il comme exemple de cette théo-
rie ?4 Interprétation Que s’est-il passé hier ?5 Assertion J’ai besoin de savoir quelle est ta taille.
TABLEAU 1.3 – Les cinq catégories additionnelles de Graesser
Zock et Mitkov (1991) avancent quatre objections à la typologie de Lehnert :
1. Certaines catégories méritent d’être affinées. Quantification, par exemple,
devrait comprendre les sous-catégories durée, fréquence...
2. Certaines catégories sont trop précises. Les questions 9, 10 et 11 seraient
par exemple classées dans trois catégories différentes (jugement, procédure
24
et capacité) alors qu’elles pourraient toutes les trois être classées dans la
catégorie procédure.
(9) Comment t’es-tu arrangé avec John ?
(10) Comment John a retrouvé son livre ?
(11) Comment allons-nous manger ce soir ?
3. La catégorie compléter un concept est trop large pour définir les wh-questions.
En effet, toute question, à part les questions totales, demande une complé-
tion de concept.
4. Le métalangage, i.e. les explications relatives à la typologie et au choix des ca-
tégories, est parfois trop exotique pour convenir à un locuteur quelconque.
La campagne d’évaluation de systèmes de questions-réponses CLEF 4 établit
une autre typologie de questions, plus générale. Trois types sont relevés et divisés
en sous-catégories (Giampiccolo et al., 2007). Ces catégories se basent sur le type
de réponse attendue à la question posée :
1. Questions factuelles : questions basées sur des faits– Personne
(12) Qui est le président français ? Nicolas Sarkozy– Temps
(13) Quand est mort Jean-Paul II ? En 2005– Lieu
(14) Où est né Mozart? À Salzbourg– Organisation
(15) À quel parti appartient Didier Reynders ? Au MouvementRéformateur
– Mesure(16) Quelle hauteur fait la tour Eiffel ? 324 mètres
– Nombre(17) Combien d’habitants y a-t-il en Belgique ? 10 827 519
– Objet(18) De quoi est faite une table ? De bois
4. http://clef-campaign.org
25
– Autres(19) Quel traité a été signé en 1979? Le traité de paix entreIsraël et Égypte
2. Questions définitoires : questions de type Qui/Qu(e) est X ?– Personne
(20) Qui est Robert de Niro ? Un acteur de cinéma– Organisation
(21) Qu’est-ce que la Douma ? Le parlement russe– Objet
(22) Qu’est-ce qu’une assiette? Un plat dans lequel onmange
– Autres(23) Qu’est-ce que l’Eurovision? Un concours de musique
3. Questions listes : questions qui requièrent une réponse contenant unnombre déterminé d’unités
(24) Quels sont les aéroports de Londres? Gatwick, Stansed,Heathrow, Luton et City
Dans un article traitant des « questions complexes » (Moriceau et al., 2010), les
auteurs complètent cette typologie. Outre les catégories factuelle – qu’ils défi-
nissent comme regroupant les questions globales et celles portant sur des entités
– et définition 5, ils mettent au jour deux nouvelles catégories :
1. Opinion
(25) Que vous inspire ce film?
2. Explication– Processus ou séquence de processus : correspond à la majorité des
questions en comment(26) Comment faire une note de bas de page en LATEX ?
– Conséquence ou liste de conséquences :(27) Que provoque le gel sur les routes ?
– Raison ou liste de raisons : correspond aux questions en pourquoi– Cause
(28) Pourquoi un chercheur gagne-t-il moins qu’un trader ?– But
(29) Pourquoi le gouvernement a-t-il prêté de l’argent auxbanques ?
– Obligation(30) Pourquoi doit-on obéir aux lois?
5. Ils ne traitent pas dans l’article des questions de type liste.
26
Une typologie axée sur la question
Zock et Mitkov (1991) reprochent à ces typologies d’être davantage axées sur
les réponses que sur les questions. Ils veulent pouvoir s’affranchir de la réponse
et identifier le type d’élément sur lequel porte la question. À terme, l’intérêt est
de créer un système sur la base de cette typologie qui permet à un utilisateur
d’interagir librement avec une base de données. La démarche se situe donc dans
une optique de génération de questions, davantage que les classements présentés
jusqu’ici, comme l’indique la citation suivante :
« Our goal [...] is not to specify how to answer a question, but how to ask it. Tothis end we need to make a taxonomy of questions. » (Zock et Mitkov, 1991)
La taxonomie proposée est très fine. Elle ne traite par contre que des questions
portant sur un élément et non des questions portant sur des phrases entières,
comme les questions globales. Les auteurs relèvent 14 grands types de questions,
divisés chacun en catégories plus fines. Cette typologie est présentée dans le
tableau 1.4. Les exemples sont présents pour donner une indication de la structure
de ces types de questions et des éléments qui doivent s’y trouver (préposition,
mot interrogatif, sujet animé ou inanimé...).
Type Sous-Type Exemple
Question-rôle Agent-Objet Qui as-tu vu ?Co-agent Avec qui es-tu venu ?Bénéficiaire-Destination
À qui as-tu offert ce cadeau ?
Source De qui as-tu reçu ce cadeau ?Moyens-Instruments Qu’a-t-il utilisé pour creuser ?Instrumentalité Avec quoi vais-je creuser ?Possesseur-Relation À qui appartient ce livre ?
À qui est cet enfant?Question-évènement Évènement Qu’est-ce qu’il s’est passé ?
Action Qu’a-t-il fait ?Spécification d’un trait Identité Quel est ton nom?
Origine D’où vient-il ?
27
Temps Quelle heure est-il à Londres ?Âge Quel âge a-t-il ?Taille Quelle est la taille de cette personne ?Couleur Quelle est la couleur de cette maison ?Prix Combien coûte cette moto ?
Question de degré Vitesse À quelle vitesse roule-t-il ?Âge Quel âge a-t-il ?
Question de manière (ac-tion)
Comment a-t-il dormi ?
Spécification (choix d’unélément parmi d’autres)
Quel est le plus intelligent des deux ?
Quantité Longueur De quelle longueur est ce lac ?Fréquence À quelle fréquence cela arrive-t-il ?Distance À quelle distance se situe Istanbul ?Intelligence À quel point John est-il intelligent?État émotionnel À quel point l’aimes-tu ?
Question spatiale Emplacement Où habites-tu ?Direction-Destination Où vas-tu ?Source-Origine D’où viens-tu ?Contenance Dans quoi gardez-vous le beurre ?
Question temporelle Point À quelle heure décolle ton avion?Unité de temps Quel jour sommmes-nous ?Fréquence À quelle fréquence prends-tu le train ?Durée Depuis combien de temps travailles-
tu ?Passé-Présent Depuis quand travailles-tu ?Point final Jusque quand travailles-tu ?
Raison Cause Pourquoi a-t-elle quitté son emploi ?Motivation Pourquoi veux-tu faire ça ?Convention Pourquoi dit-on « merci » ?
Hypothèse Conséquence Que se passe-t-il si je fais ça ?Condition Quand pourrai-je dormir ?Méthode Comment résoudre ce problème ?Structure et fonctionne-ment
Comment est organisé ce pays ?
Comment éteindre l’ordinateur ?
TABLEAU 1.4 : La Typologie de Zock et Mitkov
28
1.1.3 Synthèse : une classification « mixte »
Nous avons relevé deux types de classification, l’une axée sur un point de vue
linguistique et l’autre basée sur un point de vue conceptuel. Ces deux axes de
recherche apportent chacun leurs éléments intéressants, mais ne sont pas contra-
dictoires pour autant. Afin de montrer la complémentarité des deux approches,
nous les avons synthétisées pour proposer une typologie « mixte » en établissant
une catégorisation conceptuelle au sein d’une classification linguistique, basée
sur les wh-words. Dans une optique de développement d’un système de règles de
génération, nous pensons que les wh-words sont un point de départ intéressant
en ce sens qu’ils réalisent globalement toutes les fonctions syntaxiques possibles
dans une phrase donnée 6. Nous affinons ensuite cette première catégorisation en
associant à chacun de ces mots interrogatifs les concepts qui leur correspondent.
De cette manière, chaque concept est relié au mot interrogatif approprié. Cette
typologie est reprise dans le tableau 1.5. Une catégorie est ajoutée afin de prendre
en compte les questions globales, qui ne contiennent pas de mot interrogatif.
6. Nous incluons pour chaque wh-word la possibilité d’être précédé d’une préposition.
29
wh-word Concept Exemple
Qui Personne Qui a offert ce cadeau à Pierre ?Que/Quoi Définition Qu’est-ce qu’une onde ?
Matière De quoi est faite cette table ?Opinion Qu’en penses-tu ?Conséquence Que provoque le gel sur les routes ?Évènement Que s’est-il passé samedi ?Action Qu’a-t-il fait de mal ?
Quand Point temporel fixe Quand est né Barack Obama ?Fréquence Quand prends-tu le train ?Passé-Présent Depuis quand travailles-tu ?Présent-Futur Jusque quand travailles-tu ?
Où Emplacement Où habites-tu ?Source-Origine D’où viens-tu ?Direction-Destination Où vas-tu ?
Pourquoi Cause Pourquoi a-t-elle quitté son emploi ?But Pourquoi roule-t-il si vite ?Convention-obligation Pourquoi doit-on dire « merci » ?
Comment Procédure Comment faut-il écrire une lettre ?Structure Comment est organisé ce pays ?Spécification d’un élément Comment est cette fille ?
Quel (lequel) Spécification d’un élément De quelle couleur sont ses yeux?Quelle est la capitale de la Belgique ?
Liste Quels sont les aéroports de Londres ?Combien Quantification Combien de chats a-t-elle ?
Prix Combien coûte ce tableau ?
Questions globales Vérification Est-il vraiment parti ?Requête Peux-tu me passer le sel ?
TABLEAU 1.5 – Synthèse : typologie mixte des questions
Cette typologie que nous avons élaborée prend tout son sens dans le cadre de la
génération de questions. De cette manière, dans une phrase quelconque, chaque
élément susceptible d’être interrogé devra pouvoir être associé à un concept. Une
fois ce concept détecté, il suffira de le relier au mot interrogatif approprié afin de
générer une question à partir de celui-ci.
30
1.2 La question d’un point de vue formel
Dans cette section, nous étudions la question à un niveau plus grammatical.
Nous y décrivons la façon dont elle se construit, en proposant une définition
qui se veut pertinente et précise et qui doit pouvoir servir de base à la généra-
tion automatique de questions. À cette fin, nous développons trois éléments qui
nous semblent fondamentaux : le marquage des questions, en cherchant à déter-
miner ce qui les distingue radicalement des propositions déclaratives, les mots
interrogatifs et l’inversion sujet-verbe.
1.2.1 Le marquage des questions
Le marquage de la question se fait principalement au niveau de l’intonation
à l’oral et par un point d’interrogation final à l’écrit. La langue écrite soignée
aura tendance à y ajouter une inversion sujet-verbe tandis que l’oral et la langue
écrite moins soignée préfèreront l’usage de l’introductif « est-ce que » (Grevisse
et Goosse, 2007). Nuançant ce constat, Danjoux-Flaux et Dessaux (1976) s’inter-
rogent sur le caractère distinctif de ces marques pour l’interrogation et objectent
que s’il existe des traits qui indiquent l’interrogation, ceux-ci sont polyvalents
et ne se limitent pas strictement à ce type d’énoncé. C’est le cas notamment de
l’inversion sujet-verbe que l’on retrouve tant dans les phrases assertives qu’inter-
rogatives, comme le montrent les deux exemples suivants :
(31) Comment va-t-il ?
(32) Ainsi va-t-il de temps en temps au marché.
Si les traits relevés sont donc bien représentatifs des questions, ils ne sont
pas pour autant spécifiques à celles-ci et ne permettent pas de les distinguer de
tous les autres types de phrases. Néanmoins, à l’écrit, l’inversion sujet-verbe
31
et la tournure est-ce que semblent être de bons indicateurs pour déterminer
qu’une phrase donnée est interrogative. Tout en émettant une certaine réserve,
on pourrait également affirmer qu’ils constituent, avec le point d’interrogation
final, les traits minimaux d’une question formulée dans un registre standard.
1.2.2 Les mots interrogatifs
Comme l’indique le tableau 1.1 à la page 22, les mots interrogatifs prennent
principalement trois formes. Ils peuvent être soit un pronom, soit un détermi-
nant, soit un adverbe. Ces mots interrogatifs se placent généralement en tête de
proposition, même si trois exceptions quant à leur position sont à souligner :
– Si la question comporte deux mots interrogatifs, le deuxième suit le verbe :
(33) Qui fait quoi ?
– Si le mot interrogatif est la tête d’un syntagme prépositionnel, la préposition
le précède :
(34) Depuis quand est-il là ?
– Il arrive, dans un registre moins normé, que le mot interrogatif se retrouve à
la place du mot qu’il substitue :
(35) Il part quand [demain] ?
Les pronoms interrogatifs Qui, que et quoi sont invariables et entrainent un
accord au masculin singulier pour tous leurs compléments. Par exemple, la phrase
« Qui est heureuse? » n’est normalement pas acceptée et doit être corrigée pour
donner « Qui est heureux ? » (Danjoux-Flaux et Dessaux, 1976 :149).
Les adverbes où, quand, combien peuvent être précédés d’une préposition au
sein de la question ou même contenir la préposition en eux.
32
(36) Luc va vers Lyon → Vers où Luc va-t-il ?
(37) Luc est dans le jardin → Où Luc est-il ?
Les mots interrogatifs ont donc des sources lexicales variables (substantifs,
infinitifs, adjectifs, propositions complétives ou infinitives, syntagmes préposi-
tionnels...). De ce fait, le panel d’éléments pouvant faire l’objet d’interrogations est
large et, dans le cadre de la génération automatique de questions, il est nécessaire
de pouvoir traiter tous ces cas afin de produire des interrogations sur chacun de
ces éléments.
Comportement face aux modifieurs
Danjoux-Flaux et Dessaux (1976) soulignent le comportement différent des
interrogatifs face aux modifieurs. Les modifieurs sont « les expansions du nom
dans un groupe nominal » (Molinier et Levrier, 2000 :21) (adjectifs, compléments
du nom, relatives). Nous illustrons ces différents comportements dans le tableau
1.6. Pour chaque type d’interrogatif, nous donnons trois exemples de phrases,
chacun de ceux-ci utilisant un type de modifieur. Nous testons ensuite la validité
de la paire « interrogatif-modifieur ». Les exemples précédés d’un astérisque sont
non-valides. L’intérêt de cette recherche est de définir plus tard des patrons cor-
rects de phrases interrogatives en évitant d’associer un mot interrogatif avec un
modifieur qu’il n’accepte pas.
Comp. adjectival en de Comp. nominal Relative
Adverbes interrogatifs *Pourquoi d’agréable *Pourquoi des gens *Pourquoi qui est agréablePronoms interrogatifs Qui d’agréable *Qui des gens Qui, qui est agréableDéterminants interrogatifs *Lequel d’agréable Lequel des gens Lequel, qui est agréable
TABLEAU 1.6 – Interrogatifs et modifieurs
33
Le choix entre qui, que et quoi
Le choix entre ces trois pronoms n’est pas anodin et mérite d’être expliqué dans
une étude préalable au développement d’un outil de génération automatique
de questions. En effet, si ces trois occurrences ne peuvent être utilisées indiffé-
remment, il est important de comprendre les facteurs qui président au choix de
l’une ou l’autre forme. Il faut pour cela distinguer trois cas, relatifs à la fonction
du pronom dans la phrase.
Si l’interrogatif a la fonction de sujet et que ce sujet est animé, il prendra la
forme qui (38). En revanche, s’il est inanimé, il prendra la forme qu’est-ce qui (39),
les formes que et quoi étant très rarement attestées (Danjoux-Flaux et Dessaux,
1976 :150).
(38) Jean joue avec son chien → Qui joue avec son chien ?
(39) Fumer tue → Qu’est-ce qui tue ?
Quand l’interrogatif a la fonction d’attribut du sujet, l’opposition entre qui
d’une part et que et quoi d’autre part, dépasse le clivage entre animé et inanimé
et se résout dans la forme de la réponse à la question. Dans le cas des animés
par exemple, alors que qui demande un syntagme nominal comprenant un dé-
terminant, comme dans l’exemple 40, que demande un syntagme nominal sans
déterminant, comme dans l’exemple 41. Si la réponse est un adjectif, on utilisera
plutôt l’interrogatif comment (voir l’exemple 42).
(40) Luc est un concierge → Qui est Luc?
(41) Luc est concierge → Qu’est Luc ?
(42) Luc est intelligent → Comment est Luc ?
34
Dans tous les autres cas, le choix entre ces termes est déterminé par le caractère
animé ou inanimé du mot qu’il remplace. Si ce mot est animé, le pronom pren-
dra la forme qui (43, 44) et dans le cas contraire, il prendra la forme que s’il est
complément direct (45) et quoi sinon (46).
(43) Le chat amuse Jean→ Qui amuse le chat?
(44) Jean donne une pomme à Pierre→ À qui Jean donne-t-il unepomme ?
(45) Jean mange une pomme→ Que mange Jean ?
(46) Jean joue au football → À quoi joue Jean?
Rôle de la construction du verbe dans le choix des interrogatifs
Danjoux et Dessaux (1976) se basent sur les travaux de Maurice Gross (1968) et
ses tables de Lexique-Grammaire pour montrer que le choix des interrogatifs est
souvent contraint par le verbe utilisé dans la phrase. Ils étudient ce phénomène à
travers les constructions complétives et infinitives. Ils remarquent entre autres
qu’avec des infinitives construites à partir d’un verbe de mouvement ou causatif
de mouvement, la question qui en résulte sera régulièrement introduite par où.
(47) Il emmène Luc voir Marie → Où emmène-t-il Luc?
Grévisse et Goosse (2007) montrent que quand l’interrogation porte sur le
verbe, il n’existe pas de mot interrogatif qui permette de former la question. Pour
contrer ce problème, il faut alors recourir au verbe substitut faire ou, à défaut, aux
verbes se passer ou y avoir pour former une question en que (Grevisse et Goosse,
2007 ; Danjoux-Flaux et Dessaux, 1976).(48) Le vieux mur peut tomber– *Que peut le vieux mur ?– Que peut faire le vieux mur ?
35
Par ces deux exemples, les auteurs montrent que le choix de l’interrogatif est
loin d’être évident et que les contraintes qui s’exercent sur lui ne sont pas seule-
ment liées à son référent et à ses caractéristiques (animé, inanimé, complétive,
infinitive), mais aussi au contexte linguistique dans lequel il s’inscrit.
1.2.3 L’inversion sujet-verbe
L’inversion se réalise différemment selon que le sujet est un pronom personnel
(ou le pronom ce) ou non. Nous distinguons ci-dessous ces deux cas avant d’évo-
quer l’introducteur est-ce que et son statut particulier (Grevisse et Goosse, 2007;
Langacker, 1965 ; Danjoux-Flaux et Dessaux, 1976).
Le sujet est un pronom personnel ou le pronom ce
Aux temps simples, on procède à une inversion sujet-verbe classique, avec
l’insertion d’un trait d’union entre les deux.
(49) Il vient → Vient-il ?
Aux temps composés et au passif, le pronom est inséré entre l’auxiliaire et le
participe passé.
(50) Il est venu → Est-il venu ?
Ces deux règles comportent toutefois deux exceptions :
– L’inversion n’est pas réalisée à la 1ère personne du singulier de l’indicatifprésent pour les verbes ne se terminant pas par -e (*fais-je).
– L’inversion n’est pas réalisée pour les temps composés de être quandle sujet est ce (*a-ce été) ainsi qu’à la troisième personne du pluriel del’indicatif passé simple (*fussent-ce).
36
Dans certains cas par ailleurs, le verbe se voit modifié avec l’inversion :
– À la première personne du singulier de l’indicatif présent, les verbes seterminant en -e changent leur e en é (aimé-je)
– À la troisième personne, quand le verbe se termine par une voyelle, onajoute, par analogie à la prononciation, un -t- avant le pronom.
Le sujet n’est ni un pronom personnel, ni le pronom ce
– Interrogations globales
On procède à une inversion complexe. Cela signifie que le sujet reste à sa place
initiale, mais qu’il est repris après le verbe sous la forme d’un pronom personnel à
la troisième personne, accordé en genre et en nombre avec le sujet.
(51) Jean est parti travailler → Jean est-il parti travailler ?
– Interrogations partielles
Cinq cas de figures sont à envisager :
1. L’interrogation commence par un pronom interrogatif sujet ou par un dé-
terminant interrogatif se rapportant au sujet : pas d’inversion
(52) Jean est parti → Qui est parti ?
2. L’interrogation commence par quel, qui est attribut ou se rapporte à l’attri-
but : on procède à une inversion simple du sujet
(53) Quels sont ces bruits sourds?
3. L’interrogation commence par que, qui est complément direct ou attribut
du sujet avec un verbe copule autre que être : inversion simple
(54) Jean mange une pomme → Que mange Jean ?
4. Le mot interrogatif est pourquoi : on procède à une inversion complexe
(sujet - verbe - reprise du pronom)
37
(55) Jean est parti parce qu’il était malade → Pourquoi Jean est-ilparti ?
5. Dans tous les autres cas : on fait soit une inversion complexe, soit une
inversion simple(56) Jean est parti à Paris → Où est parti Jean? ou Où Jean est-ilparti ?
L’introducteur est-ce que
« Ces tours avec est-ce que (interrogation globale et interrogation partielle)sont souvent considérés comme peu élégants et lourds. Ils sont très ancienspourtant, et les classiques ne les rebutaient pas. Ils se rencontrent parfoisdans la langue littéraire la plus élaborée, mais moins souvent aujourd’huiqu’hier, semble-t-il. »(Grevisse et Goosse, 2007)
Le Bon Usage évoque donc cette différence de prestige entre les deux variantes
(inversion et tournure en est-ce que) dans la formulation des questions. Il cite
d’ailleurs une préférence de l’Académie française pour l’inversion dans les ques-
tions.
Néanmoins, cette tournure en est-ce que permet de contourner certains inter-
dits liés à l’inversion.
– Impossibilité d’inversion à la première personne du singulier de l’indicatifprésent :
(57) *Perds-je ? - Est-ce que je perds ?– Problème d’inversion avec le pronom
(58) ce : *furent-ce ses derniers mot? - Est-ce que ce furent ses der-niers mots ?
– Interdiction du pronom interrogatif sujet neutre :(59) *Que m’oblige à faire ça ? - Qu’est-ce qui m’oblige à faire ça ?
– Difficulté d’identifier sujet et objet :(60) Qui aime Jean ? - Qui est-ce qui aime Jean ?
Ces constructions sont invariables en temps et en genre. Elles ne sont conju-
guées qu’à l’indicatif présent, à la troisième personne du singulier. Les questions
de l’exemple 61 illustrent l’invariabilité de ces tournures.
38
(61) Est-ce que Jean est revenu? Sont-ce que les enfants sons reve-nus ? Sera-ce que Jean reviendra?
L’utilisation de ces constructions diffère selon le caractère global ou partiel de
l’interrogation.
– Interrogations globales
Dans ce cas, l’introducteur est-ce que est en tête de phrase, suivi du sujet, sans
reprise pronominale.
– Interrogations partielles
La tournure est-ce que se place après le mot interrogatif et est suivie du sujet, sans
reprise pronominale. Si l’interrogatif est sujet, est-ce que se mue en est-ce qui.
Synthèse
L’inversion sujet-verbe est une thématique complexe et dépend entre autres de
la nature nominale ou pronominale du sujet. Nous reprenons dans le tableau 1.7
une synthèse des différents types d’inversion en jugeant de leur acceptabilité. Les
phrases non acceptées sont précédées d’un astérisque.
Nom PronomInversion simpleInterrogation partielle Quand vient Jean ? Quand vient-il ?Interrogation totale *Viendra Jean? Viendra-t-il ?Interrogation totale est-ce que
*Est-ce que viendra Jean? *Est-ce que viendra-t-il ?
Inversion complexeInterrogation partielle Quand Jean vient-il ? /
*Que Luc dit-il ?*Qui nage-t-il bien ?
Interrogation totale Jean viendra-t-il ? /Interrogation totale est-ce que
*Est-ce que Jean viendra-t-il ? /
TABLEAU 1.7 – L’inversion sujet-verbe
39
1.3 De la déclarative à l’interrogative : les règles trans-
formationnelles de Langacker
Dans la lignée des travaux de Chomsky en grammaire générative et transfor-
mationnelle, plusieurs auteurs ont proposé des règles pour formaliser la trans-
formation de phrases déclaratives en interrogatives en français (Kayne, 1973;
Langacker, 1965). Dans cette section, nous analysons le système de règles décrit
par Langacker dans un article intitulé French Interrogatives : A Transformational
Description (1965).
Langacker distingue cinq procédés de formation différents : les questions to-
tales avec inversion sujet-verbe, les questions en quel suivi d’un substantif, les
questions en qui,que et quoi, les questions en est-ce que et les questions adver-
biales (introduites par un adverbe interrogatif). Comme nous l’avons vu plus haut,
les questions en est-ce que appartiennent à un registre moins normé et plus oral,
raison pour laquelle nous ne les abordons pas ici.
Les questions totales
Quand une phrase déclarative est formée d’un sujet pronominal, la question
totale correspondante peut être formée par inversion du pronom et du premier
élément verbal (62). Quand le sujet n’est pas pronominal, la question est formée
par une inversion complexe, via une reduplication du sujet sous forme pronomi-
nale, à la suite du premier élément verbal (63).
(62) Il est fou → Est-il fou ?
(63) Jean est fou→ Jean est-il fou ?
40
Langacker formalise cette transformation en trois règles successives. Dans
celles-ci, chaque élément de la phrase est représenté par un symbole :
– *Ti indique le numéro de la règle. L’astérisque souligne qu’elle est obliga-toire
– wh correspond au mot interrogatif (ici fictif)– [+PRON ] correspond au trait syntaxique pronom– NP correspond à un syntagme nominal (qui peut être un pronom)– V correspond au premier élément d’une chaine verbale– X,Y,Z correspondent à des chaines quelconques de caractères
Une règle correspond à la transformation d’un état de la phrase vers un autre.
Les éléments sont associés à un numéro dans la partie gauche de la règle et la
partie droite donne le nouvel ordre de ces éléments. Certaines règles sont soumises
à une condition, exprimée sous la flèche de transformation.
1. Reduplication du sujet à la suite du premier élément verbal
*T4 : wh NP V X ⇒ 1 2 3 + 2 41 2 3 4
Exemple :- wh1 Le chat gris2 est3 parti4 → wh1 Le chat gris2 est le chat gris3+2
parti4
- wh1 Il2 est3 parti4 → wh1 Il2 est Il3+2 parti4
2. Pronominalisation du sujet dupliqué
*T5 : wh NP + V DET [+N ] X Y ⇒ 1 2 4 61 2 3 4 5 6 [+PRON ]︸ ︷︷ ︸
NP
Exemple :- wh1 Le chat gris est2 le3 chat4 gris5 parti hier6 → wh1 Le chat gris est2
il4 parti hier6
- wh1 Il est2 Il4 parti hier6 → wh1 Il est2 il4 parti hier6
41
3. Ellipse du sujet si celui-ci est un pronom
*T7 : X NP V NP Y ⇒ 1 3 4 51 2 3 4 5 |si 2=4|
Exemple :- wh1 Pierre2 est3 il4 parti5 → la règle n’est pas appliquée- wh1 Il2 est3 il4 parti5 → wh1 est3 il4 parti5
Questions formées à partir d’un déterminant : questions en quel
L’interrogatif quel est défini comme le résultat de l’ajout de l’interrogation au
déterminant quelque (Langacker, 1965 :590). L’interrogation porte donc sur le
déterminant, et pas sur le nom.
(64) Vous préférez quelque tableau → Quel tableau préférez-vous?
Pour réaliser l’interrogation, il faut donc déplacer le syntagme dont le détermi-
nant est quelque en tête de proposition et joindre le déterminant au marqueur
d’interrogation fictif wh pour donner quel. Trois cas sont à distinguer pour écrire
cette règle :
1. L’interrogation porte sur le sujet : dans ce cas, le syntagme n’est pas déplacé.
(65) Quelque médecin va venir → Quel médecin va venir ?
2. L’interrogation porte sur un syntagme prépositionnel : le syntagme entier
est déplacé en tête de proposition.
(66) Il parle à quelque femme → À quelle femme parle-t-il ?
3. L’interrogation porte sur un élément dominé par une P2 : on ne peut réaliser
l’interrogation.(67) Nous partirons quand quelque femme partira → *Quellefemme partirons-nous quand partira ?
42
De ces trois cas, résulte la règle suivante :
T3 : wh X (P) DET Y Z ⇒ 3 1 + 4 5 2 6quelque
1 2 3 4 5 6Condition : 4 + 5 n’est pas dominé par une P2
Exemple :wh1 Vous parlez2 à3 quelque4 femme5 aujourd’hui6 → À3 quelle1+4 femme5
vous parlez2 aujourd’hui 6 ?
Une fois cette règle appliquée, il reste à réaliser l’inversion. Langacker propose
d’adapter les règles exposées pour les questions totales en les généralisant. Les
deux dernières règles (pronominalisation et ellipse) restent identiques, mais la pre-
mière (duplication) doit être précisée pour prendre en compte les constructions
en quel :
*T4 : wh(P) NP NP V Y ⇒ 1 2 3 + 2 4
wh+X︸ ︷︷ ︸1 2 3 4
Exemple :- Quel tableau1 Henri 2 préfère3 voir4 →Quel tableau1 Henri2 préfère Henri3+2
voir4
- Quel tableau1 Il2 préfère3 voir4 → Quel tableau1 Il2 préfère il 3+2 voir4
Questions formées à partir d’un syntagme nominal : questions en qui, que et
quoi
Ces questions sont formées selon la même procédure que celles précédem-
ment décrites. En effet, le syntagme nominal sur lequel porte la question est
déplacé en tête de proposition, éventuellement précédé d’une préposition. La
43
différence tient au fait que la séquence quel + Nom est ici remplacée par les pro-
noms Qui, que ou quoi en fonction du caractère humain non humain du Nom.
Langacker relève trois objections principales à cette transposition simple :
– Que ne peut pas être sujet d’une phrase.
(68) *Qu’est tombé ?
– Quand la question porte sur l’objet direct et quand le sujet est un nom, la
reduplication se fait si l’objet est humain (69), mais pas si l’objet est non
humain (70).
(69) Qui Henri voit-il ?
(70) *Que Henri voit-il ?
– Quand la question porte sur un syntagme prépositionnel, l’inversion simple
(71) et complexe (72) sont autorisées.
(71) De qui parle Henri ?
(72) De qui Henri parle-t-il ?
Il est donc nécessaire d’incorporer ces restrictions dans les règles existantes et
d’adapter celles-ci pour qu’elle conviennent aux questions en qui, que et quoi. Lan-
gacker propose de remplacer les termes à interroger par des pro-formes [+PRO] :
personne et chose, selon le caractère humain ou non-humain du terme concerné.
De cette manière, la séquence quelque [+PRO] est ensuite remplacée par qui ou
que selon les traits de la pro-forme. Cette règle intervient après le déplacement
en tête de proposition du syntagme à interroger et la reduplication. Le trait [H]
représente le caractère humain ou non du syntagme.
44
*T6 : (P) wh + quelque [+PRO] (NP) V (NP) X ⇒ 1 2 3 4 5 6 7[+SG] [+M]
1 2 3 4 5 6 7
Quand 1 6= P- si 4=6=NP : 3 = [-H] ou 6 = [+PRON]- sinon : 3 = [+H]
Dans le cas où le syntagme à interroger est prépositionnel, le choix entre qui
et quoi se fait grâce à l’analyse du trait humain ou non humain (73). Dans le cas
contraire, la structure de la phrase est analysée pour déterminer le trait humain
ou non humain du syntagme et, en fonction de celui-ci, le pronom interrogatif
sera choisi (74,75).
(73) - À quelque jeu Jean a Jean joué → À quelle chose Jean a Jeanjoué → À quoi Jean a Jean joué- À quelque joueur Jean a Jean donné un cadeau → À quelle personneJean a Jean donné un cadeau → À qui Jean a Jean donné un cadeau
(74) Quel jeu Jean a Jean offert → Quelle chose Jean a Jean offert →Que Jean a Jean offert
(75) Quel joueur a gagné → Quelle personne a gagné → Qui a gagné
Comme pour les questions totales et les questions en quel, cette règle est suivie
des étapes de pronominalisation et d’ellipse.
Questions adverbiales
Langacker définit comme adverbiales les questions portant sur un élément
circonstanciel de la phrase (76, 77, 78).
(76) Quand part-il ?
(77) Où votre père va-t-il ?
(78) Où va votre père ?
45
Ces questions acceptent l’inversion simple et l’inversion complexe et ne néces-
sitent pas l’ajout de nouvelle règles par rapport à celles développées jusqu’à
présent. En effet, l’élément interrogé peut être remplacé par une construction de
type « P + quel + N » correspondant aux pronoms où et quand selon qu’il s’agit d’un
lieu ou d’un complément de temps. Langacker évoque aussi le renforcement de la
question par la forme est-ce que (79), mais nous ne traitons pas cette construction
dans le cadre de ce travail.
(79) Quand est-ce que vous partez ?
Remarques
Ce système proposé par Langacker est pertinent dans la mesure où il formalise
des phénomènes complexes tels que l’inversion sujet verbe. Néanmoins, comme
nous l’envisageons dans la deuxième partie de ce travail (chapitre 3), il existe
aujourd’hui des outils plus performants qui permettent d’effectuer ces transfor-
mations. Les analyseurs syntaxiques actuels permettent, par exemple, de générer
des structures de phrases arborescentes et hiérarchisées qu’il est très facile de mo-
difier en agissant sur les nœuds de celles-ci. De surcroit, ces analyseurs incluent
des modules de reconnaissance d’entités nommées qui permettent de déterminer
les traits des syntagmes – le trait humain ou non humain par exemple – sans
recourir à une analyse de la structure de la phrase, comme le fait Langacker. Si la
démarche théorique est intéressante, nous pensons que la grammaire décrite est
trop complexe et quelque peu archaïque par rapport aux outils actuels.
1.4 Conclusion
En vue de développer un système de génération automatique de questions, il
importe d’une part d’établir une typologie de celles-ci pour définir ce que notre
46
système doit être capable générer et, d’autre part, de définir formellement la
phrase interrogative, en la distinguant des phrases déclaratives.
Il existe deux grands types de classification de questions. Le premier, axé sur
un point de vue linguistique, se base sur la structure de la question et sur les
mots interrogatifs pour établir une typologie. Le second, basé sur un point de
vue conceptuel, classe les questions selon le focus, soit l’attente exprimée par ces
dernières, ou le concept, soit l’élément sur lequel porte la question. Néanmoins,
ces deux axes de recherche, loin de s’opposer, sont complémentaires. Nous avons
donc synthétisé ces deux approches pour créer une typologie « mixte » associant
des catégories conceptuelles à des éléments linguistiques – les wh-words – pour
permettre de relier chaque concept au mot interrogatif le plus approprié. La
classification que nous présentons permet donc de rendre compte des types
des questions à la fois d’un point de vue linguistique et conceptuel et constitue
un point de départ pertinent pour la mise en place d’un système de génération
automatique de questions.
Formellement, la question peut être définie selon trois axes : son marquage, les
mots interrogatifs et l’inversion sujet-verbe. Ces trois concepts sont les éléments
standards d’une question et nécessitent d’être clairement définis pour formuler
des phrases interrogatives correctes. Face à ce constat, Langacker (1965) propose
une grammaire transformationnelle qui formalise ces différents aspects grâce à
des règles de transformation. Néanmoins, cette grammaire, bien qu’intéressante
pour son apport théorique, semble dépassée par les outils actuels et donc difficile
à implémenter dans un outil complet de génération automatique de questions.
La typologie et la définition formelle que nous proposons ont pour ambition
de donner une représentation complète de la notion de question et de construire
47
une base linguistique pertinente à la génération automatique de questions. Le
chapitre suivant, consacré au domaine de la génération automatique, se situe à
un niveau plus informatique. Il constitue la deuxième partie de la base théorique
sur laquelle reposera l’implémentation d’un générateur de questions.
48
CHAPITRE 2
GÉNÉRATION AUTOMATIQUE ET GÉNÉRATION
AUTOMATIQUE DE QUESTIONS
Le but de ce chapitre est de situer la génération automatique de questions
(GAQ) au sein du domaine plus général de la génération automatique de textes
(GAT) 1. Nous commençons par présenter ce domaine en définissant ses grands
principes. Nous nous intéressons ensuite au domaine spécifique de la génération
automatique de questions afin de montrer les points communs et les points
divergents entre les deux types de systèmes. Au-delà de cette comparaison, notre
objectif est aussi de comprendre les enjeux et les défis qui pèsent sur notre objet
d’étude en réalisant un état de l’art de la discipline. Pour ce faire, nous présentons
les principaux outils existants, en dégageant une méthodologie globale qui puisse
servir de base à l’implémentation d’un nouvel outil.
1. L’appellation anglaise, plus couramment utilisée est Natural Language Generation (NLG).
49
2.1 La génération automatique de textes
Danlos et Roussarie (2000) définissent le domaine de la manière suivante :
« La génération automatique de textes (GAT) est la branche du taln dont le butest de produire des énoncés en langage naturel à partir de représentationsinformatisées. Ceux-ci doivent être grammaticalement corrects, sémanti-quement cohérents et pragmatiquement pertinents. La génération assuredonc la fonction émettrice de la communication homme-machine, et seprésente globalement comme le processus réciproque de la compréhensionautomatique. » (Danlos et Roussarie, 2000)
Pour étayer leur propos, les auteurs citent différents types d’application utili-
sant un module de génération automatique de textes :
– Systèmes de dialogue homme-machine :
« le terme de système de dialogue indique généralement un systèmepermettant une interaction entre un humain et un système dans uncadre restreint. (...) Un système de dialogue homme-machine interprèteles requêtes de l’utilisateur en fonction de la tâche à accomplir, de l’his-toire du dialogue et du comportement de l’utilisateur. Son objectif estde donner à l’utilisateur les informations recherchées tout en assurantune interaction efficace et naturelle. » (Galibert et al., 2005).
Dans ce cadre, les modules de génération permettent, par exemple, de
chercher dans une base de données la réponse à une question entrée par
un utilisateur et de lui renvoyer la réponse, correctement formulée.
– Résumé automatique : un tel système utilisant un module de génération
se distingue des outils de résumé automatique traditionnels qui extraient
des phrases d’un texte sur la base de calculs probabilistes. En génération, le
système fonctionne avec une simulation de l’activité humaine pour résumer
le texte. Il s’agit d’un processus cognitif complexe qui connait actuellement
peu de réalisations concrètes. Le projet SPORTIC, actuellement développé
au Cental, a pour objectif le développement d’un tel outil, appliqué ici au
domaine de commentaires sportifs de matchs de basket. Basé sur une onto-
50
logie, le générateur Gen-Tonic produit un résumé adapté aux préférences
de l’utilisateur – longueur, focus sur une équipe ou un joueur particulier... –
et destiné à être couplé à un résumé vidéo du match 2.
– Production de textes de commentaires générés à partir de données nu-
mériques : il s’agit d’un outil très utile pour les entreprises qui part d’un ta-
bleau de données numériques pour générer un commentaire sur les chiffres.
EASYTEXT (Meunier et al., 2011), par exemple, traite les investissements
publicitaires réalisés par des clients d’une société, et leur envoie chaque
mois un commentaire généré automatiquement sur leurs investissements.
– Production de manuels d’instruction : ces manuels sont générés automati-
quement à partir de données entrées par un utilisateur. Le problème majeur
des outils existants est le niveau d’abstraction très complexe de ces entrées
qui rend ces générateurs difficiles à appréhender.
L’architecture globale d’un système
Danlos et Roussarie (2000) expliquent que la tâche de génération peut être di-
visée en deux sous-tâches principales, correspondant à la manière dont l’humain
construit son discours, selon les théories psycholinguistiques (Levelt, 1993) :
1. Le Quoi-Dire : ce module élabore le sens profond du texte en recourant à de
nombreuses ressources encyclopédiques, pragmatiques...
2. Le Comment-Le-Dire : cette partie du système est chargée de construire
linguistiquement le texte et se base sur des ressources linguistiques, princi-
palement un lexique et une grammaire.
Cette architecture peut être affinée en quatre étapes, la première entrant dans
le cadre du Quoi-Dire tandis que les trois autres réalisent le Comment-Le-Dire.
Pour ces quatre étapes, Bateman et Zock (2003), Danlos et Roussarie (2000) et
2. Nous remercions Stéphanie Audrit (UCL-Cental) pour ses explications à propos de ce projet.
51
Reiter et Dale (1997) proposent des schémas comparables que nous synthétisons
ci-dessous. La figure 2.1, tirée d’un article de Zock et Sabah (2002) illustre notre
propos.
1. La macroplanification détermine, en fonction d’un but à atteindre et de
bases de connaissances, le contenu du texte et la structure globale du dis-
cours, aboutissant à un plan de texte. Le contenu profond est d’abord sé-
lectionné dans des bases de connaissance, éventuellement en fonction de
buts communicatifs, et représenté sous forme de réseaux conceptuels et
sémantiques. Ensuite, un plan de texte est construit, dont le but est d’orga-
niser le message dans une dynamique textuelle en établissant des relations
rhétoriques entre les propositions du texte 3.
2. La microplanification part du plan du texte pour en générer la structure
syntaxique tout en choisissant les mots pleins 4 appropriés pour incarner le
sens qui a été déterminé dans la macroplanification. Ces deux étapes – plani-
fication syntaxique et lexicalisation – peuvent se dérouler successivement ou
conjointement dans le cas où le générateur utilise un lexique-grammaire ou
une grammaire lexicalisée. Cette phase s’accompagne d’un module d’agré-
gation qui consiste à éliminer les redondances et à rendre le texte plus lisible
et plus précis (voir exemple 80). Le but de ces opérations est d’assurer la
cohésion du texte. 5
(80) le père et la mère de Paul → les parents de Paul
3. Une relation rhétorique relie des énoncés et non des constituants. De cette manière, « Mariemange une pomme et Pierre mange une banane » contient deux énoncés unis dans une relationde narration (Busquets et al., 2001)
4. noms, verbes, adjectifs et adverbes.5. La cohésion est « l’ensemble des moyens linguistiques qui assurent les liens intra- et inter-
phrastiques permettant à un énoncé oral ou écrit d’apparaître comme texte » (Charaudeau etMaingueneau, 2002 :99). Elle est à distinguer de la cohérence en ce sens que « la cohérence estune propriété du discours, qui est mis en relation avec les conditions d’énonciation, alors que lacohésion est une propriété du texte, qui est envisagé fermé sur lui-même. » (Riegel et al., 2009)
52
3. La formulation prend en entrée les arbres syntaxiques lexicalisés et génère
la forme de surface des différentes phrases du texte. C’est à cette étape que
se déroule la flexion des différents termes – l’accord des noms, pronoms et
adjectifs et la conjugaison des verbes – et que les mots secondaires 6 sont
ajoutés. Cela implique des modifications graphiques telles la gestion des
contractions (81) et des élisions (82) ou encore l’ajout des traits d’union.
(81) de le beurre → du beurre
(82) le animal → l’animal
4. La présentation physique est l’étape de finition. La ponctuation est insérée
et un éventuel formatage du texte, en HTML par exemple, est réalisé, pour
le rendre présentable. Le cas échéant, ce formatage peut être remplacé par
un module de synthèse vocale.
6. déterminants, pronoms, conjonctions.
53
MACROPLANIFICATION
MICROPLANIFICATION
FORMULATION
PRÉSENTATION PHYSIQUE
Détermination du contenu
Structuration du contenu
Spécifier les référents
Agrégation/Segmentation
Lexicalisation
Ponctuation
Mise en page
Articulationchaîne sonore
texte écrit formaté
Plan de texte
Plan de la phrase
Texte non formaté
Catégories lexicales
Ordre des mots
Mots secondaires
Flexion + Accords
FIGURE 2.1 – Architecture d’un système de génération automatique de textes (Zocket Sabah, 2002)
Ce type d’architecture séquentielle est qualifié de fonctionnement en pipeline.
Cela signifie que les étapes se déroulent successivement sans qu’aucun retour
en arrière ne soit possible (Reiter et Dale, 2000). La pertinence d’un tel choix a
souvent été critiquée et certains auteurs ont proposé une architecture utilisant des
modules interdépendants. Nous n’abordons cependant pas ces méthodologies
dans le cadre de ce travail étant donné que la majorité des systèmes de génération
54
actuels implémentent le modèle présenté (Danlos et Roussarie, 2000).
Apports
La génération automatique de textes présente de nombreux intérêts. Danlos
et Roussarie (2000) en citent une dizaine, que nous synthétisons en trois points
majeurs :
1. L’indépendance entre le stockage des informations et le système de géné-
ration offre plusieurs avantages :
(a) On peut actualiser très facilement un texte par une simple modification
des éléments d’une base de données.
(b) La recherche d’information est facilitée par l’utilisation d’une base de
données structurée, sans qu’il soit nécessaire de recourir à une analyse
textuelle complexe.
(c) Une représentation abstraite d’un texte peut donner plusieurs formes
de surface. On peut donc, à partir d’une même base, générer des textes
de niveaux de langage différents ou de vocabulaire varié – grâce aux
paraphrases par exemple – mais aussi dans des langues différentes.
2. Au-delà de la méthodologie, les résultats sont susceptibles d’intéresser un
large public. Les systèmes sont capables de produire à la fois de la parole et
du texte. Le texte peut par ailleurs être formaté et même allié à du contenu
multimédia, ce qui rend les résultats d’autant plus attractifs.
3. Les fondements théoriques qui sous-tendent le développement de tous ces
systèmes sont pertinents dans la mesure où ils permettent de s’interroger
sur les mécanismes de production du langage humain, mais aussi sur le
discours dans son intégralité, au-delà des phrases qui le composent.
Limites
Si les apports de la génération automatique de textes sont considérables,
certains problèmes restent à résoudre pour augmenter la performance des géné-
rateurs existants.
55
Claude Ponton (1997) évoque le manque de portabilité des systèmes actuels
qui sont « fortement liés à leur application et ceci tant au niveau des formalismes
utilisés qu’au niveau, par exemple, des règles mises en œuvre dans le processus »
(Ponton, 1997).
Une autre limitation est liée à la définition de la GAT (page 50), qui implique la
génération d’énoncés « grammaticalement corrects, sémantiquement cohérents
et pragmatiquement pertinents ». Si les deux premiers aspects – grammaticalité
et cohérence sémantique – sont pris en compte dans les systèmes actuels, la
dimension pragmatique échappe encore à la modélisation. Zock et Sabah (2002)
évoquent le problème du contrôle pour définir cette limite :
« S’il est relativement aisé de décider de la bonne formation d’énoncés, ilest beaucoup plus difficile de décider de leur adéquation à une situation. Àquel moment utiliser une ressource linguistique particulière (voix passive,proposition relative, etc.) ? Que faire en cas de conflit ? Quand s’arrêter ?Comment décider qu’un texte est convenable ou optimal ? » (Zock et Sabah,2002)
2.2 La génération automatique de questions
Selon Nielsen (2008), la définition de la génération automatique de questions
diffère selon son type d’application. L’auteur relève deux domaines applicatifs
majeurs de la discipline :
– Applications éducatives : des questions sont générées pour évaluer les
connaissances ou la compréhension d’un utilisateur à propos d’un domaine
déterminé. Ces applications peuvent également prendre la forme de ques-
tionnaires à choix multiples (Mitkov et Ha, 2003). Dans ce cas, l’enjeu majeur
se situe dans le choix des distracteurs 7 (Mitkov et al., 2006). Brown et al.
(2005), par exemple, élaborent un outil d’évaluation du vocabulaire chez des
7. « Lorsque l’on rédige des questions fermées à choix multiple[s], l’énoncé de l’item est suivipar une série de réponses possibles, dont une est correcte et les autres ne le sont pas. Les optionsde réponse incorrectes sont désignées par le terme de distracteurs. » http://www.irdp.ch/
edumetrie/lexique/distracteur.htm (Page consultée le 3 août 2011)
56
locuteurs qui doivent choisir parmi plusieurs propositions le sens correct
pour un mot donné.
– Systèmes de dialogue homme-machine : ces systèmes ont pour vocation
de permettre à un ordinateur de mener un dialogue interactif avec un hu-
main. Un des objectifs peut être l’aide à l’apprentissage. Dans ce cas, le but
des questions est de mener un apprenant à la compréhension d’un concept
qu’il ne comprend pas au départ. Chaque question doit donc se baser sur
la réponse de l’apprenant à la précédente question (Nielsen, 2008). Cer-
tains auteurs se sont également intéressés à produire des dialogues fictifs à
propos de textes, pour permettre à un utilisateur d’accéder à ces textes de
manière plus interactive (Piwek et Stoyanchev, 2010), par exemple à partir
de notices de médicaments (83).
(83)– Notice : Vous pouvez prendre une aspirine si vous avez mal à
la tête.– Dialogue :
– Q : Que puis-je faire si j’ai mal à la tête ?– R : Vous pouvez prendre une aspirine.
Pour distinguer ces méthodologies, deux aspects sont concurrentiels :
– Pragmatique : choisir la bonne question en fonction du type d’application
et de ses contraintes.
– Syntaxique : déterminer les étapes qui sont appliquées pour générer une
question grammaticalement correcte.
Le premier point de vue diverge entre les deux approches puisque les questions
générées dans le cadre d’un outil ne sont pas nécessairement pertinentes pour
un autre. A contrario, le processus formel de création des questions est iden-
tique. Nous étudions donc ce second point de vue, même si des références à la
pragmatique peuvent survenir pour étayer notre propos.
Pour bien comprendre la place particulière qu’occupe la génération automa-
tique de questions (GAQ) au sein du domaine général de la génération automa-
tique de textes (GAT), nous décrivons ici le fonctionnement global d’un outil.
Cependant, aucune méthodologie généraliste n’ayant jamais été décrite, nous
57
procédons de manière empirique. Nous partons de la présentation d’outils exis-
tants, constituant « l’état de l’art » en génération automatique de questions, pour
dégager une architecture générique, comme nous l’avons fait dans la section
précédente pour la génération automatique de textes. La section 2.3 confronte
les deux méthodologies afin de situer le sous-domaine de la GAQ au sein du do-
maine principal et de déceler les points communs et divergents de leur mode de
fonctionnement.
Si des grammaires de règles pour générer des questions existent pour le fran-
çais (Danjoux-Flaux et Dessaux, 1976; Langacker, 1965), comme celle exposée
à la section 1.3, aucun outil complet n’a jamais été implémenté, à l’exception
d’un travail d’étudiant (Brette et Lescuyer, 2006), extrêmement basique et peu
flexible : il s’applique à des phrases très simples et les contraintes sur les entrées
du programme sont lourdes.
Face à cette absence de ressources suffisantes pour le français, nous avons
exploré les outils existants pour l’anglais. Dans ce chapitre, nous exposons quatre
méthodologies développées pour générer des questions en anglais dont nous
dégageons les spécificités et les limites.
2.2.1 Les débuts : Les travaux de John Wolfe
Wolfe (1976) pose les bases de la génération automatique de questions. Le
but de l’outil qu’il a développé est pédagogique. Il s’agit d’aider des apprenants
à étudier des textes de manière indépendante. Le principe est le suivant : un
texte est soumis à un programme qui va le segmenter en phrases et retourner
à l’étudiant des questions auxquelles il doit répondre. Le programme vérifie la
réponse donnée, l’accepte ou la refuse. Dans cette méthode, seule la forme de
la phrase est traitée et son sens n’est pas pris en compte, ce qui présente deux
inconvénients : la réponse de l’étudiant doit parfaitement correspondre avec la
réponse attendue par le programme et certaines ambiguïtés ne sont pas résolues
dans l’analyse de la phrase, ce qui engendre des erreurs dans la génération des
questions.
58
Fonctionnement du système
Un paragraphe est soumis à la lecture de l’étudiant. Une phrase de ce para-
graphe est sélectionnée aléatoirement par l’ordinateur 8 qui génère une question
à partir de celle-ci. Cette question est ensuite renvoyée à l’étudiant qui doit y
répondre correctement. Le système procède en quatre étapes :
1. Analyse morphologique : le programme étiquète les mots de la phrase en
catégories grammaticales à l’aide d’un dictionnaire de verbes, conjonctions,
pronoms, prépositions, articles et adverbes. Tout ce qui ne se retrouve pas
dans le dictionnaire est alors automatiquement étiqueté comme nom. Le
dictionnaire contient pour les verbes des informations morphologiques du
type transitif, intransitif, régulier, irrégulier...
2. Génération d’une question à partir d’une table de patrons : le programme
dispose d’une liste de patrons de phrases, chacun correspondant à un type
de réponse à une question. Si un patron est retrouvé dans la phrase entrée
au programme, le système peut donc générer la question correspondante.
Exemple : I have a dog so that I walk everyday correspondant au pa-tron P1 so that P2– Repérage et analyse des caractéristiques morphologiques du verbe
de P1 pour générer une bonne forme du do et transformation en P1’do I have a dog
– Génération d’une question à partir de P1’ : Why do I have a dog?– Génération d’une réponse attendue : so that + P2 (so that I walk
everyday)
3. Post-traitements : le programme rejette les paires question-réponse qui ne
satisfont pas certaines conditions (phrases trop longues, présence d’une
virgule dans la question...).
4. Vérification de la réponse de l’étudiant : si plus de 50% des mots de plus de
quatre lettres de la réponse attendue sont contenus dans la réponse donnée,
celle-ci est acceptée (les mots-outils sont de cette manière éliminés dans
l’évaluation).
8. Les phrases trop complexes ou trop longues sont d’emblée éliminées par le système
59
Résultats
Le système a été évalué sur 50 questions générées. Parmi celles-ci, 34 ont été
jugées satisfaisantes. Les 16 autres ont été classées selon quatre types d’erreurs :
les erreurs syntaxiques (11 occurrences), sémantiques (3 occurrences), pédago-
giques (1 occurrence) et « bug du programme » (1 occurrence). Parmi les erreurs
syntaxiques, beaucoup étaient liées à une mauvaise reconnaissance du verbe
principal de la phrase.
Notons que l’idée première de l’implémentation était de fonctionner sur la
base d’une analyse syntaxique de la phrase, mais que celle-ci était beaucoup trop
coûteuse en mémoire et en temps 9.
2.2.2 Une étude de Donna Gates
À l’instar de John Wolfe, Donna Gates (2008) envisage la fonction pédagogique
de la génération automatique de questions. Son but est d’offrir un outil d’aide
à la compréhension à la lecture, en créant des questions factuelles à partir de
textes. Les utilisateurs seraient donc contraints d’approfondir leur lecture du
texte et d’élargir leur compréhension de celui-ci pour être capable de répondre
aux questions posées. Cette méthode de lecture se base sur ce qui se trouve
directement dans le texte. Les questions générées sont uniquement des questions
factuelles dont la réponse est intratextuelle (Gates, 2008 :10). Le procédé utilisé
est le suivant :
1. Génération d’un arbre syntaxique grâce au Standford Syntactic Parser (Klein
et Manning, 2003), augmenté d’informations sémantiques récupérées de
Wordnet (Fellbaum, 1998) (animé-inanimé, personne, organisation, pays...).
2. En fonction de la phrase et des syntagmes qui la composent, plusieurs types
de question sont possibles. Le système en traite quatre et génère un arbre
par type de question accepté par la phrase (sujet, objet direct, complément
d’agent, expressions temporelles).
9. Rappelons que l’article date de 1976... La puissance des ordinateurs était donc de loininférieure à celle de nos machines actuelles.
60
3. Transformation de l’arbre à l’aide de règles Tsurgeon (voir 3.2) écrites à la
main, le but étant de baliser la réponse à la future question et de transformer
la structure de la phrase pour passer du mode déclaratif au mode interrogatif
(inversion sujet-verbe, insertion d’un mot interrogatif...).
4. Phase de simplification (suppression des relatives et des syntagmes préposi-
tionnels)
5. Règles pour affiner les mots interrogatifs en fonction d’informations séman-
tiques
6. Transformation des arbres de questions (forme profonde) en format correct
(forme de surface). A partir de l’arbre complexe et annoté, un script génère
la question en recherchant les nœuds de surface (terminaux) et rend la
phrase dans un anglais correct (bonne forme du « do », accord sujet-verbe...)
Evaluation
L’évaluation se base sur les paires question-réponse, à partir desquelles deux
évaluateurs attribuent une note à la question générée (parfaite, bonne, mauvaise
ou très mauvaise) en regard de la réponse. Ces grades doivent être attribués à la
lumière de deux critères : la pertinence sémantique et la grammaticalité. Pour ce
faire, 693 questions, issues d’un corpus de 52 passages de CBC4Kids 10 ont été
soumises à l’évaluation. Sur toutes ces questions, 75% ont été retenues comme
parfaites, 6% comme bonnes, 15% comme mauvaises et 4% comme très mauvaises.
Ces résultats semblent corrects, mais sont à nuancer. Le corpus d’évaluation étant
un corpus de textes destinés aux enfants, les passages traités et les phrases entrées
au programme sont relativement simples, ce qui facilite l’analyse syntaxique et
donc la génération des questions.
Limites
L’auteur constate certaines limites dans son approche. Premièrement, l’outil
se cantonne aux questions factuelles, au détriment des questions plus complexes
de type comment ou pourquoi. En outre, l’auteur cite trois sources d’erreurs
10. www.cbc.ca/kids
61
dans les questions générées; les erreurs d’analyse, celles dues à une mauvaise
reconnaissance des entités nommées et celles liées à des patrons de modification
trop peu précis et donc des règles trop restrictives.
2.2.3 Heilman et Smith et l’apport de la simplification
La simplification de phrases
Heilman et Smith (2010a) développent un algorithme d’extraction de clauses à
partir de phrases complexes en vue de la génération automatique de questions.
Cette étape permet de faciliter la création d’un formalisme pour générer des ques-
tions concises à partir de phrases complexes. Les phrases étant plus simples, les
résultats sont moins bruités et les ambiguïtés d’analyse sont largement moindres
et plus facilement résolubles. Les auteurs définissent l’extraction de cette ma-
nière :
The task of extracting simple sentences from a complex input sentence is
essentially the task of generating a particular subset of the possible sentences
that a reader would assume to be true after reading the input.(Heilman et
Smith, 2010a :2)
La motivation de cette étape préalable est sémantico-pragmatique : globale-
ment les présuppositions sont extraites de la phrase de base. Pour ce faire, l’algo-
rithme se base sur la structure de la phrase (propositions relatives et subordonnées,
adverbes, appositions...), générée par un analyseur syntaxique, pour la découper
et supprimer les éléments moins significatifs. Une démonstration de l’outil est
disponible en ligne 11. L’exemple 84 illustre une sortie du programme.
(84)– Entrée : Alfred studied at Oxford, where he learned to speak
English.
– Sortie :– Alfred studied at Oxford.– He learned to speak English at Oxford.
11. http://www.ark.cs.cmu.edu/mheilman/qg-2010-workshop/
62
La génération de questions
Dans (Heilman et Smith, 2009), les mêmes auteurs développent les différentes
étapes de l’implémentation d’un générateur de questions qu’ils ont créé.
1. Une phrase est soumise au programme. Elle est segmentée en clauses,
via l’algorithme d’extraction développé précédemment. Il y a donc autant
d’arbres syntaxiques qu’il y a de clauses dans la phrase.
2. A l’aide d’un question transducer 12, une liste de questions possibles est
générée à partir de chaque clause extraite. La méthodologie est la suivante :
– Identification des termes susceptibles de faire l’objet d’une question (le
système n’autorise que les syntagmes nominaux et prépositionnels) et
remplacement de ceux-ci par un mot interrogatif approprié (who, what,
when, where, how much) 13. Pour choisir le mot adéquat, la phrase a
été préalablement annotée dans une étape de reconnaissance d’entités
nommées.
– Décomposition du verbe principal pour obtenir la construction « do +
infinitif » (au temps et à la personne correspondants)
– Inversion sujet-verbe
– Post-traitements pour obtenir une question correcte (ajout du point d’in-
terrogation...)
3. Les textes et les questions générées sont données à des évaluateurs qui
notent chaque question selon des critères d’acceptabilité. Notons qu’il s’agit
ici d’une évaluation manuelle, mais que les auteurs ont également déve-
loppé une méthode d’évaluation automatique (Heilman et Smith, 2010b)
qui donne à chaque question générée une probabilité qu’elle soit acceptable,
en se basant sur douze traits qui constituent les paramètres du modèle.
12. C’est le nom que donnent les auteurs à leur système de règles.13. Les auteurs soulignent la flexibilité de leur implémentation, affirmant que leur système peut
être assez facilement, par l’implémentation de quelques règles, être étendu aux questions de typecomment et pourquoi.
63
2.2.4 Kalady et l’apport des questions définitoires
Kalady et al. (2010) se situent dans la lignée des travaux d’Heilman et Smith.
La particularité de leur approche est que, outre les questions factuelles, le pro-
gramme sera également capable de générer des questions définitoires, toujours à
partir d’un texte de base. Les questions factuelles (wh-questions) sont générées à
partir de phrases uniques tandis que les questions définitoires peuvent avoir leur
réponse distribuée à travers tout le texte, parmi lequel des mots-clés auront été
repérés. Nous synthétisons ici leur approche pour ces deux types de questions.
Questions factuelles
Le processus utilisé pour ces questions ne diffère que très peu de celui proposé
par Heilman et Smith. C’est pourquoi nous nous contentons ici d’établir la liste des
étapes concernées, sans entrer dans les détails de leur implémentation. Notons
que le système ne traite pas, au contraire d’autres outils présentés précédemment,
les questions factuelles temporelles, ce qui en constitue une limite importante.
1. Analyse syntaxique et construction d’une structure en constituants
2. Extraction de clauses à partir des phrases complexes. À la différence d’Heil-
man et Smith, cette étape ne consiste qu’en la séparation des phrases indé-
pendantes liées par des conjonctions. Ce sont ces clauses qui sont données
en entrée au générateur.
3. Résolution d’anaphores et remplacement des pronoms.
4. Repérage de tous les syntagmes pouvant faire l’objet de questions et sou-
mission de ceux-ci à un reconnaisseur d’entités nommées.
5. Inversion sujet-verbe (insertion d’une forme de to do, sauf quand le verbe
est issu de to be)
6. Suppression des appositives et des syntagmes prépositionnels.
7. Génération des questions. Pour la formation du mot interrogatif, les infor-
mations issues du repérage d’entités nommées sont gardées en mémoire.
– Questions globales
– Questions sur les syntagmes nominaux sujets
64
– Questions sur les syntagmes nominaux objets
– Questions sur les appositives préalablement supprimées (la question est
posée sur le terme qui précède l’appositive)(85) Mexico city, the biggest city in the world, is beautiful →Which is the biggest city in the world
– Questions sur les syntagmes prépositionnels préalablement supprimés :
l’objet de la préposition est repéré et remplacé par le mot interrogatif
approprié puis le syntagme complet est placé en tête de phrase.
– Questions sur les adverbes : l’adverbe de la phrase est supprimé et rem-
placé par how en tête de phrase.
Questions définitoires
Les auteurs définissent ces questions comme celles qui ont une réponse des-
criptive et qui ne peuvent trouver réponse que si le document entier est compris
par le lecteur. Pour générer ces questions, ils se basent sur une notion qu’ils
apportent : les up-keys, qualifiés comme des mots-clés qui se rapportent au do-
cument. Une fois ceux-ci extraits, un module repère le type de mot dont il s’agit
pour en générer un mot interrogatif. Ensuite, le programme génère une question
définitoire en faisant suivre ce mot interrogatif du verbe to be correctement conju-
gué et du mot-clé concerné. Il est important de souligner que cette méthode, bien
qu’originale, est encore imparfaite et approximative. En effet, le système génère
une question pour chaque mot-clé retrouvé, sans prendre en compte l’importance
de celui-ci au sein du document.
Évaluation
Pour évaluer leurs questions, les auteurs utilisent la précision et le rappel. Ces
deux mesures sont calculées de la manière suivante :
– Précision :nombre de questions correctesnombre de questions générées
– Rappel :nombre de questions correctes
nombre de questions correctes et manquantes
65
La difficulté de tenir compte du rappel est qu’il nécessite de demander à l’évalua-
teur de relever manuellement pour chaque phrase toutes les questions possibles
pour comparer cette liste à celle des questions effectivement générées par le
système. Cette procédure est dès lors coûteuse en temps.
2.2.5 Synthèse
Les quatre méthodologies que nous avons étudiées ne sont pas les seules qui
aient été créées pour l’anglais. Néanmoins, elles constituent un bon aperçu de
l’état de l’art actuel en génération de questions, apportant chacune un regard
neuf sur la discipline. Au-delà des spécificités propres à chacun de ces outils, nous
pouvons dégager un schéma générique de ces méthodologies, qui peut d’une part
permettre de situer la génération de questions par rapport au domaine global de
la génération automatique, et d’autre part servir de base à la construction d’un
outil pour le français. Les différentes étapes de la méthodologie sont globalement
les suivantes :
1. Analyse morphosyntaxique et/ou syntaxique du texte source
2. Identification du syntagme cible sur lequel portera la question
3. Déplacement du syntagme cible
4. Remplacement du syntagme cible par le mot interrogatif approprié
5. Inversion et accord sujet-verbe
6. Post-traitement de la question pour générer une forme de surface gramma-
ticale et bien formée
Il est également utile de disposer d’informations d’ordre sémantique telles que
l’étiquetage en entités nommées (personne, organisation, pays, ville) ou la dis-
tinction animé-inanimé. De plus, la génération automatique de questions est
généralement associée à une étape de simplification. Cette étape peut se situer en
amont de la génération, comme dans (Heilman et Smith, 2010a) où l’algorithme
se base sur la structure de la phrase (propositions relatives et subordonnées,
adverbes, appositions...) pour la découper et supprimer les éléments moins signi-
66
ficatifs. Cette étape peut également intervenir en fin de processus, afin d’améliorer
les questions générées (Gates, 2008).
À notre connaissance, il n’existe pas de système de génération de questions
reposant sur des méthodes statistiques et les outils actuels n’exploitent donc que
des méthodes symboliques.
2.3 Confrontation des deux domaines
Afin de comprendre ce qui fait la spécificité de la génération automatique de
questions, nous proposons en table 2.1 une comparaison des différentes phases
d’un système de génération automatique de textes et d’un système de génération
automatique de questions. Nous partons des étapes décrites dans la section 2.1
que nous mettons en parallèle avec celles exposées au point 2.2.5.
GAT GAQ
Macroplanification Détermination du contenu- sélection du contenu profond du texte - analyse du texte source et sélection d’une
phrase (+ simplification)- structuration globale du discours - identification de syntagme sur lequel por-
tera la questionMicroplanification Transformation syntaxique- génération de la structure syntaxique dutexte
- déplacement du syntagme cible
- lexicalisation - remplacement du syntagme cible par le motinterrogatif approprié
- agrégation - inversion sujet-verbeFormulation Formulation- génération de la forme de surface - génération de la forme de surface- flexions et accords - vérification des accords- ajout des mots secondaires- gestion des contractions, élisions
Présentation physique- ponctuation
- formatage/synthèse vocale
TABLEAU 2.1 – Comparaison GAT-GAQ
67
Ce tableau met en évidence les différences de procédure entre les deux métho-
dologies. Nous détaillons cette comparaison en synthétisant chacune des grandes
étapes du processus de génération.
1. Macroplanification : sur ce premier point, les deux processus divergent.
Si tous deux partent d’une base de données pour déterminer le contenu
profond du texte à générer, la nature de cette base diffère. En effet, la géné-
ration de textes prend en entrée une base de données structurée tandis que
la génération de questions part de données textuelles en langage humain.
Dès lors, le but n’est plus de produire du texte ex nihilo, mais plutôt de le
transformer, de le manipuler, ce qui constitue la différence fondamentale
entre les deux systèmes.
La sortie de cette étape est également différente : dans le premier cas, on
obtient un plan général du texte dans lequel les concepts sont reliés, alors
qu’en génération de questions, on a déjà une structure syntaxique qui lie
les éléments de la phrase et dans laquelle les éléments lexicaux sont déjà
présents.
Par contre, la dimension pragmatique qui peut être mise en œuvre dans
cette étape de macroplanification unit les deux domaines. Nous avons vu
que celle-ci était encore trop peu prise en compte en génération de textes,
mais la génération d’un texte pertinent et répondant à des buts communi-
catifs précis correspond à la formulation d’une bonne question, pertinente
et utile dans le contexte communicatif.
En outre, si les moyens utilisés à cette étape divergent, le but reste le même :
déterminer le contenu, du texte comme de la question. Il y a un choix à
opérer parmi les informations à prendre en compte et, en GAQ, ce choix
revient à sélectionner une phrase – éventuellement en combinant cette
sélection avec une simplification du texte source – et l’élément à interroger.
68
2. Microplanification : cette étape oppose deux types de fonctionnement. En
génération de textes, on construit une structure syntaxique tandis qu’en
génération de questions, on la modifie pour transformer une phrase décla-
rative en une phrase interrogative. La phase de lexicalisation ne doit donc
pas être réalisée en GAQ, sauf pour le choix de l’interrogatif correspondant
au syntagme cible, sur lequel porte la question. L’étape d’agrégation, corres-
pondant à la simplification des phrases en GAQ, peut également intervenir
à ce moment du processus, comme dans (Gates, 2008).
3. Formulation : cette phase est globalement identique pour les deux sys-
tèmes, dans la mesure où elle permet de récupérer la forme de surface du
texte ou de la question à partir de leur forme profonde. La différence fonda-
mentale réside dans le traitement des flexions et accords. En GAQ, les termes
sont fléchis dès le départ et il ne s’agit dès lors que d’une vérification de
ceux-ci, certains termes devant être modifiés au cours de la transformation.
C’est le cas dans l’exemple 86 où les compléments du pronom qui doivent
être fléchis au masculin singulier. En revanche, toutes les flexions et accords
doivent encore être réalisés en GAT, les termes étant représentés sous forme
d’une structure de traits (87).
(86) Julie et Marie sont heureuses. → Qui est heureux ?
(87) [le :f,s][jeune :f,s][femme :f,s][courir :P,3s] → La jeunefemme court.
4. Présentation physique : cette étape est commune aux deux types de géné-
rateurs et, à l’exception de l’insertion de la ponctuation, dépend surtout de
l’application dans laquelle ils sont intégrés.
69
2.4 Conclusion
La génération automatique de questions est un sous-domaine bien spécifique
de la génération automatique de textes. Si le processus général est globalement
identique dans les deux cas, la GAQ se distingue de la GAT dans le sens où, dans
l’état actuel des recherches en tout cas, elle fonctionne par transformation de
phrases déclaratives en phrases interrogatives. À l’inverse, la génération de textes
part des données et d’une grammaire pour générer ex nihilo un texte construit.
Un problème épistémologique peut dès lors se poser et on pourrait se demander
si les systèmes de GAQ correspondent réellement à de la génération, au sens strict
du terme. Le débat semble pertinent, mais nous n’y participons pas dans le cadre
de ce mémoire, nous appuyant sur la terminologie employée dans l’état de l’art
en génération de questions.
La génération automatique, qu’elle soit de questions ou de textes, est un do-
maine en expansion et connait quelques grandes limites, parmi lesquelles la plus
importante est celle de l’absence de réflexion pragmatique dans le processus.
Dans le cas de la GAQ, les systèmes que nous avons exposés se contentent de
générer des questions sans prendre en compte leur pertinence ni leur adéquation
au contexte de communication. Cette réflexion semble une piste intéressante
à explorer mais néanmoins ardue tant il est difficile d’évaluer formellement ce
contexte. Dans le cadre de ce travail, nous laissons de côté cette limite et nous
cantonnons à une approche de génération de questions par pure transformation
syntaxique.
Les différents systèmes existants peuvent être synthétisés en une procédure
générique. Les étapes décrites dans cette procédure nous donnent une excellente
base de structure pour l’implémentation d’un outil de génération automatique de
70
questions à partir de textes en français, que nous développons dans la deuxième
partie de ce travail.
71
DEUXIÈME PARTIE
IMPLÉMENTATION D’UN OUTIL DE
GÉNÉRATION AUTOMATIQUE DE
QUESTIONS POUR LE FRANÇAIS
Dans cette partie, nous présentons l’élaboration d’un système de génération
automatique de questions. Elle fait suite à des travaux que nous avons menés dans
le cadre d’un stage qui s’est déroulé au Laboratoire d’Informatique pour la Méca-
nique et les Sciences de l’Ingénieur (LIMSI-CNRS) 14, situé à Orsay. Ce stage a eu
lieu en août et septembre 2010 et était encadré par Delphine Bernhard, Véronique
Moriceau et Xavier Tannier, membres du groupe « Information, langue écrite et
signée » 15. Les recherches que nous décrivons ici ont été partiellement financées
par OSEO, dans le cadre du programme QUAERO, un « programme fédérateur de
recherche et d’innovation industrielle sur les technologies d’analyse automatique,
de classification et d’utilisation de documents multimédias et multilingues » 16.
Notons que ces travaux ont été présentés dans le cadre de la session posters de la
18e conférence sur le traitement automatique des langues en juin 2011 (de Viron
et al., 2011).
Après avoir présenté les quelques outils qui ont servi de base au développe-
ment de notre système, nous exposons l’implémentation et l’architecture du
programme avant de présenter la phase d’évaluation de celui-ci. Enfin, nous envi-
sageons les apports et limites de notre travail et soulevons les points qui méritent
d’être améliorés dans d’éventuels travaux ultérieurs.
14. http://www.limsi.fr15. http://www.limsi.fr/Scientifique/lir/16. http://www.quaero.org/
74
CHAPITRE 3
PRÉSENTATION DES OUTILS UTILISÉS
Pour développer notre système, nous avons utilisé plusieurs outils qui nous ont
aidé à réaliser certaines tâches. Dans cette partie, nous en présentons trois en
soulignant leur apport dans notre démarche. Outre ces outils, nous avons utilisé
le langage de programmation Java – sous Eclipse 1 – pour écrire le code source du
programme.
3.1 XIP : un analyseur syntaxique robuste
XIP (Xerox Incremental Parser) est un analyseur syntaxique robuste. Cela si-
gnifie que, pour toute phrase, qu’elle soit ou non grammaticale, l’analyseur peut
générer une structure syntaxique. Créé en 2001 au Xerox Research Centre Europe
à Grenoble (Ait-Mokhtar et al., 2002), il fonctionne, comme l’indique son nom, de
manière incrémentale, en trois étapes :
1. Désambiguïsation contextuelle par règles.
1. http://www.eclipse.org.
75
2. Construction de syntagmes : application d’une série de règles ordonnées
des plus spécifiques au plus générales. Une fois la règle appliquée, il n’y a
aucun retour en arrière possible.
3. Construction de dépendances.
Plusieurs raisons justifient l’utilisation de cet analyseur dans notre cas. D’abord,
il offre en sortie un arbre de constituants très complet qui identifie pour chaque
syntagme ses dépendances. Malheureusement, et c’est ici une première critique à
notre travail, nous ne nous sommes rendu compte de l’intérêt de ces dépendances
que trop tard. Pensant qu’elles souffraient d’un taux d’erreur trop important et
qu’elles étaient souvent imprécises, nous avons préféré réimplémenter des règles
pour les identifier, ce qui était sans doute superflu. Nous ne pouvons affirmer
que leur prise en compte aurait considérablement amélioré nos résultats, mais
nous pensons les avoir abandonnées un peu tôt. L’intérêt de cette structure en
arbre est qu’elle est facilement modifiable, ce qui est très utile dans un système de
génération de questions par transformation syntaxique. En outre, si XIP donne
pour chaque entité ses informations morphologiques, il donne également des
informations sémantiques intéressantes, repérant entre autres certaines entités
nommées (villes, pays, dates, personnes, célébrités...) qui affinent très clairement
l’analyse et qui s’avèrent utiles pour une reformulation ultérieure des questions
générées.
Néanmoins, cette analyse souffre parfois d’imperfections. Malheureusement,
XIP étant très fermé et donc peu modifiable, il est difficile d’agir contre les erreurs
d’analyse qui surviennent. Dans la phrase 88, par exemple, le plus est considéré
comme un syntagme nominal alors qu’il s’agit d’un marqueur du superlatif, ce
qui fausse l’analyse.(88) Le riz se cultive le plus souvent dans des rizières inondéesd’eau.
76
3.2 Tregex et Tsurgeon : manipulation d’arbres syntaxiques
Tregex et Tsurgeon sont deux outils développés au sein du groupe Natural Lan-
guage Processing de l’université de Stanford (Levy et Galen, 2006). Leur but est de
permettre l’exploration automatique des corpus annotés syntaxiquement via des
opérations sur des arbres. Il n’est pas question ici de générer ces arbres mais uni-
quement de les explorer via un langage d’expressions régulières adapté et puissant.
Il s’agit d’un double outil dont les deux volets sont largement complémentaires :
– Tregex : recherches sur des arbres et étiquetage de ceux-ci
– Tsurgeon : transformations des arbres étiquetés avec Tregex
L’outil, indépendant d’un quelconque système linguistique, est complètement
open-source et disponible en ligne avec toute la documentation nécessaire à son
utilisation.
3.2.1 Tregex
Grâce à un formalisme d’expressions régulières, Tregex repère des séquences
sur un arbre à partir des nœuds de ce dernier. Ce formalisme fonctionne par
une combinaison de patrons utilisant principalement des relations de fratries
et de filiation entre les nœuds. Tregex prend en entrée un arbre correctement
parenthésé (par exemple une sortie de XIP) ainsi qu’une expression régulière en
accord avec les standards du formalisme et donne en sortie, si le patron a été
appliqué à l’arbre, ce même arbre éventuellement annoté.
Relations internodales
Il existe quatre grands types de relations entre les nœuds, affinables à l’envi
via d’autres éléments que nous ne détaillons pas ici, le but étant de présenter le
77
formalisme dans les très grandes lignes 2.
1. les relations linéaires– X .. Y → X précède Y dans l’arbre– X „ Y→ X suit Y dans l’arbre
2. les relations de filiation (père-fils)– X >> Y → X descend de Y– X << Y → X est un ascendant de Y
3. les relations de fratries (frère-frère)– X $++ Y → X est un nœud frère droit de Y– X $−− Y → X est un nœud frère gauche de Y
4. l’absence de relation nécessaire– X : Y → X et Y sont présents dans l’arbre (c’est la seule condition
nécessaire)
Regrouper les patrons
Le parenthésage est très important dans la construction de l’expression ré-
gulière. Sans parenthèses, toutes les relations que l’on décrit se rapportent au
premier nœud de l’expression. La figure 3.1 donne un exemple basique pour
illustrer cette importance.
(1) X << Y << Z → Le nœud X domine un nœud Y et un nœud Z.(2) X << (Y << Z) → Le nœud X domine un nœud Y, qui lui même domine unnœud Z.
X
Y Z
Ici, le patron (1) sera repéré sur l’arbre, contrairement au patron (2)
FIGURE 3.1 – Regrouper les patrons avec Tregex
2. Pour une documentation complète, voir (Levy et Galen, 2006)
78
On peut également regrouper les expressions au moyen des opérateurs logiques
booléens détaillés dans le tableau 3.2.1 :
Opérateur Exemple Interprétation& X << Y & << Z X domine Y et domine Z| X [<< Y | << Z] X domine soit Y, soit Z! X !<< Y X ne domine pas Y? X ?<< Y X domine ou non Y
TABLEAU 3.1 – Tregex : Regrouper des patrons au moyen d’opérateurs booléens
Etiqueter les nœuds
En vue d’une réutilisation par Tsurgeon de ce que l’on a repéré avec Tregex, il est
nécessaire d’étiqueter les nœuds, c’est-à-dire de leur donner un nom unique (en
minuscules par convention). Seuls les nœuds étiquetés seront repérables et donc
manipulables par la suite. Dans cette logique, on ne peut étiqueter un nœud qui
ne sera pas assurément repéré en cas de matching de la séquence par le patron.
X=nœud ?<< Y ⇒ OKX= ?<< Y=nœud ⇒ ERREUR
3.2.2 Tsurgeon
Tsurgeon se base sur ce qu’a repéré Tregex et, à l’aide d’un nouveau formalisme
de patrons de modifications, agit sur les nœuds de l’arbre en les modifiant, les
supprimant, les déplaçant...Ce formalisme contient une dizaine d’opérations et
réutilise les mêmes expressions de fratries et de filiation que Tregex. Voici quelques
exemples de patrons Tsurgeon :
– delete nœud : supprime de l’arbre le nœud repéré– insert nœud posi t i on : insère une copie du nœud ou un nouveau nœud
à la position spécifiée, c’est-à-dire :
79
$+ nœud2 ⇒ comme nœud frère gauche de nœud2
$- nœud2 ⇒ comme nœud frère droit de nœud2
>i nœud2 ⇒ comme iième fils de nœud2
>-i nœud2 ⇒ comme iième fils de nœud2 (en partant de la droite)
– relabel nœud LABEL : Change le label du nœud– move nœud position : supprime le nœud de l’arbre et le réinsère à la
position demandée
3.2.3 Intérêt pour notre démarche
Dans le cadre de la génération de questions par transformation de phrases
déclaratives en phrases interrogatives, il est intéressant de pouvoir agir sur les
syntagmes de la phrase à partir d’un arbre. La transformation porte essentielle-
ment sur des déplacements d’éléments de la phrase (inversion...), ce que les outils
présentés permettent de réaliser très facilement.
Un deuxième intérêt se situe au niveau des prétraitements. En effet, XIP ne
regroupe pas les syntagmes selon leur fonction dans la phrase. Par exemple, un
NdeN ne sera pas considéré comme un seul nœud, mais bien comme deux nœuds
séparés : un NP, frère d’un PP. Tregex nous permet dès lors de créer des super-
chunks (Blanc et al., 2007) en regroupant sous un même nœud tous les éléments
d’un syntagme réalisant ensemble une fonction au sein de la phrase. La figure 3.2
donne un exemple de création d’un super-chunk.
80
But : Réunir sous un même nœud NP un groupe nominal et un com-plément du nom(ex : Le chat de Jean dort.)– Tregex : NP=nom $+ PP=cn [<</de/] (identification d’un NP suivi
d’un PP dominant « de »)– Tsurgeon : move cn > −1 nom (déplacement du groupe préposi-
tionnel PP sous le nœud NP)
TOP
SENT
.
SC
FV
dort
PP
Jeande
NP
chatLe
TOP
SENT
.
SC
FV
dort
NP
PP
Jeande
chatLe
tête du NP
FIGURE 3.2 – Exemple de règle de regroupement de constituants
3.3 Morflex : un fléchisseur morphologique
Morflex est un fléchisseur morphologique à base de règles développé dans le
cadre d’un projet pour le cours de « Méthodologie d’analyse des données tex-
tuelles » à l’UCL (Cédrick Fairon, Hubert Naets). Il prend en entrée un lemme, sa
nature grammaticale (nom, verbe ou adjectif) ainsi que la flexion que l’utilisateur
souhaite lui appliquer et renvoie en sortie la forme fléchie après avoir parcouru un
des trois fichiers de règles relatifs à chaque nature. Chaque fichier se présente sous
forme d’un tableau, dont la première colonne contient une terminaison de lemme
– voire un lemme entier – et les colonnes suivantes contiennent toutes les flexions
de la forme initiale. Le tableau part du cas le plus spécifique vers le plus général,
de manière à ce que tout terme ne répondant pas aux « exceptions » soit fléchi
selon la règle de base et que, à l’inverse, un terme représentant une « exception »
rencontre l’exception avant la règle générale. À chaque appel du programme, on
va donc chercher dans la première colonne la désinence la plus appropriée pour
le lemme entré et on la remplace par ce qui se trouve à la colonne adéquate.
81
Nous utilisons cet outil dans un cadre bien particulier : la mise au singulier de
tous les éléments relatifs au sujet dans les questions portant sur ce dernier. Par
exemple, on ne peut générer à partir de la proposition (89) la question (90). Il
est dès lors nécessaire de passer par une étape qui va transformer le verbe pour
donner la question (91).
(89) Ces gens savent tout.
(90) Qui savent tout ?
(91) Qui sait tout ?
3.4 Conclusion
Les trois outils présentés ici sont les principales ressources extérieures qui ont
appuyé notre implémentation. Ces outils interviennent à trois niveaux distincts
dans l’architecture du programme. Alors que XIP se situe en amont de la généra-
tion et constitue la base de celle-ci, Tregex et Tsurgeon s’inscrivent au cœur de
l’implémentation et des règles de transformation. Quant à Morflex, il survient en
fin de processus, pour proposer une question grammaticalement correcte.
Cette structure en trois étapes est par ailleurs celle qui sous-tend l’architecture
de notre système, que nous présentons au chapitre suivant.
82
CHAPITRE 4
ARCHITECTURE DU SYSTÈME
Après avoir présenté les outils que nous avons utilisés, nous entrons en plein
cœur de notre projet en détaillant dans ce chapitre l’implémentation du géné-
rateur. Ce chapitre est divisé en trois sections bien distinctes, trois étapes qui
se déroulent successivement. Nous commençons par exposer l’étape de pré-
traitements 1, c’est-à-dire toutes les opérations qui s’appliquent pour passer du
texte donné au programme à celui qui est effectivement traité. Ensuite, nous pré-
sentons la génération des questions proprement dite en détaillant les différentes
règles qui interviennent dans le processus. Enfin, nous terminons en expliquant
les post-traitements, c’est-à-dire toutes les opérations qui interviennent pour
récupérer à partir de la structure profonde de la question sa structure de surface.
Nous tâchons au long de cet exposé d’énoncer les motivations qui ont présidé à
nos choix d’implémentation ainsi que les limites que nous entrevoyons dans ces
derniers. Nous relevons également les éventuelles améliorations ou solutions qui
pourraient être apportées au programme, conscient que ce projet n’a pas atteint
la perfection et soucieux des ses possibles évolutions futures.
1. Remarquons que ces opérations dépassent celles d’une étape traditionnelle de pré-traitements (découpage en phrases, en tokens...). Toutefois, nous optons pour cette appellationdans le sens où cette étape est préalable à la phrase de génération de questions, considérée commele cœur du programme.
83
4.1 Pré-traitements
La question de la simplification de phrases
La question de la simplification de phrases telle qu’envisagée par Heilman et
Smith (voir 2.2.3) constitue un enjeu crucial dans le domaine de la génération
de questions et nous avons pu nous rendre compte au cours de ce projet à quel
point un tel pré-traitement aurait, à la condition évidente qu’il soit de qualité,
facilité grandement l’implémentation d’un générateur et garanti une qualité plus
haute des résultats. Malheureusement, parallèlement à ce constat, nous avons dû
admettre que la conception d’un tel outil était lourde (besoin d’un algorithme de
résolution d’anaphores, d’informations sémantiques précises...) et que les deux
mois dont nous disposions pour réaliser le projet seraient largement insuffisants
pour en venir à bout. Nous avons donc décidé de laisser ce travail conséquent à
une réalisation ultérieure et de nous contenter de quelques règles de simplification
provisoires et moins performantes que nous détaillons plus loin dans ce chapitre,
en espérant pouvoir un jour les remplacer par un algorithme de simplification
complexe et performant tel qu’il a été développé pour l’anglais par Heilman et
Smith.
Premières simplifications
Les premières simplifications que nous avons développées sont très naïves et
négligent sans aucun doute une partie d’information. Au lieu de déduire d’une
phrase complexe des clauses indépendantes, l’algorithme réduit ici la phrase
de base afin d’éviter le bruit dans les questions générées. Concrètement, les élé-
ments suivants sont supprimés, au risque de perdre des éléments d’information
importants 2 :
– Le contenu des parenthèses– Les éléments compris entre deux virgules– Les incises insérées entre des tirets– Ce qui se trouve entre crochets
2. Cette méthodologie est simpliste et critiquable, mais provisoire dans l’attente une meilleuresolution.
84
En outre, XIP possède un séparateur de phrases pour construire les arbres de
dépendances. Celui-ci, dont nous ne connaissons pas les détails, se base gros-
sièrement sur le point. Dans un but de simplification toujours, nous avons donc
remplacé les « ; » et « : » par un point pour obtenir des phrases plus courtes et
donc plus facilement appréhendables mais qui gardent néanmoins une unité de
sens.
La dernière étape avant la construction de l’arbre est une simplification des
présentatifs, difficiles à traiter. Dès lors, nous n’avons conservé que la structure
interne des groupes « c’est [...] qui » (92). En effet, cette structure ne fait que mettre
en évidence et donc répéter le sujet.(92) C’est Jean qui est descendu le premier → Jean est descendu lepremier
Construction d’un arbre syntaxique
Le texte résultant est donné en entrée à XIP, qui représente chaque phrase sous
forme d’un arbre de constituants. De cet arbre, on récupère le nœud racine à partir
duquel on construit la forme parenthésée de la phrase. L’arbre obtenu est très
complet puisque pour chaque nœud, outre sa forme de surface, on peut trouver
son lemme, ses informations morpho-syntaxiques, quelques informations séman-
tiques (principalement pour les entités nommées) ainsi que ses dépendances.
C’est à partir de cette forme parenthésée qu’on crée un objet Tree, manipulable à
l’aide de Tregex et Tsurgeon.
Construction de syntagmes complexes sur l’arbre et deuxième phase de simpli-
fications
Une fois l’arbre construit, il importe de le rendre utilisable. On rassemble alors
sous un même nœud les éléments qui, ensemble, réalisent une seule fonction
grammaticale en construisant des superchunks, comme nous l’expliquons au
chapitre 3.
Exemple : Dans « Jean et Marie sont partis en vacances » , Jean et Marieconstituent trois nœuds dans l’arbre. Le but est de les regrouper sous un seulnœud puisqu’ils réalisent ensemble la fonction sujet.
85
Parallèlement, une fois les syntagmes complexes repérés, on supprime les élé-
ments superflus dans la phrase, tels certains adverbes ou syntagmes préposi-
tionnels. En outre, quand plusieurs syntagmes nominaux sont réunis sous un
même nœud, on détermine la tête du syntagme qu’on intègre dans des balises
STARTHEAD - ENDHEAD. Le but est de garder en mémoire les informations mor-
phologiques du groupe entier. Ainsi, il n’y a pas de confusion dans un syntagme
tel Le chapeau de la dame puisqu’on considére ses traits en fonction de sa tête
préalablement balisée (i.e. chapeau, masculin singulier).
Pour ce faire, une série de règles de transformation sont appliquées successi-
vement sur l’arbre. L’ordre de celles-ci est important puisque les syntagmes sont
construits de manière incrémentale, c’est-à-dire qu’on commence par regrouper
des syntagmes minimaux qui, au fur et à mesure des transformations, deviennent
plus conséquents. Ainsi, dans le cas d’une suppression d’éléments par exemple,
on commence par construire le syntagme afin de le supprimer dans son intégra-
lité. Le formalisme est le même pour chaque règle : on définit un patron qu’on
applique à l’arbre et, s’il est repéré, on applique les transformations.
Exemple de règle :But : Réunir sous un même nœud FV un FV et un infinitif(ex : je vais faire des courses)– Tregex : SC[<FV=verb] & $+ IV=inf– Tsurgeon : move inf >−1 verb
Au total, 25 règles appliquées successivement réalisent deux types d’opéra-
tions :
1. Adjonction : rassemblement sous un même nœud de plusieurs termes :
– Termes unis par une conjonction de coordination
– Termes consécutifs qui ont la même nature grammaticale
– Un terme et son complément, s’ils réalisent ensemble une fonction gram-
maticale (nom et adjectif, complément du nom, ...)
2. Suppression : élision d’éléments qui pourraient bruiter l’analyse de la phrase
et donc la génération future de la question (syntagmes prépositionnels ini-
tiaux, adverbes en -ment...) et qui ne sont pas indispensables à la compré-
86
hension de la phrase de base. La phrase 93 donne un exemple de suppres-
sion d’un syntagme adjectival initial.(93) Issu d’une famille modeste, Pierre est maintenant PDGd’une grande société.
La liste des transformations, réalisées chacune selon une méthode Java, est
reprise en annexes (Annexe A)
Cette méthodologie est critiquable. Si nous ne l’avons pas soumise à une éva-
luation, ce qui aurait pu nous donner une idée des avantages et inconvénients de
cette méthode, nous avons constaté plusieurs limites dans son utilisation. Pre-
mièrement, nous avons très peu utilisé les dépendances données par XIP pour
les différents nœuds et qui auraient peut-être systématisé cette simplification,
systématicité qui lui fait quelque peu défaut. De plus, nous avons implémenté
ces règles sans doute un peu naïvement, sans nous documenter sur le sujet et
sur les différentes configurations de syntagmes possibles. Il y a donc des erreurs,
certains syntagmes n’étant pas réunifiés et d’autres l’étant à tort. Dès lors, cette
méthodologie est quelque peu approximative et mérite d’être réétudiée, mais il
semble important de souligner l’importance d’une telle étape qui permet de mieux
saisir la structure de la phrase et d’ainsi éviter des questions opaques ou bruitées.
L’exemple 94 illustre cette importance. Il s’agit d’une question générée avec et
sans la règle NdeN qui réunit sous un nœud NP un Nom et son complément.(94) Phrase de base : Le chat de Jean dort– Avec regroupement : Qu’est-ce qui dort ?– Sans regroupement : Qu’est-ce qui de Jean dort?
4.2 Le générateur
4.2.1 Typologie des questions générées
Pour définir les types de questions que permettrait de générer notre outil, nous
avons travaillé à la lumière de tout ce que nous avons étudié dans la première
partie de ce mémoire, c’est-à-dire d’une part sur notre réflexion sur la notion
87
de question (chapitre 1) et d’autre part sur les outils développés pour l’anglais
(2.2). Synthétisant ces différentes approches, nous avons décidé de baser notre
typologie sur la structure syntaxique et grammaticale de la phrase. Chaque type
de question est lié à une fonction grammaticale au sein de la phrase. Nous avons
donc, pour chaque fonction, recensé ses différents types de réalisations dans le
but d’un repérage ultérieur des éléments susceptibles de générer une question. Le
tableau 4.1 synthétise cette recherche.
Fonction Réalisation de la fonction
Sujet Groupe nominalPronomProposition infinitiveProposition en queProposition relative
Complément d’objet direct Groupe nominalPronomProposition subordonnée
Complément d’objet indirect Groupe nominalComplément d’agent PronomAttribut du sujet Adjectif
Groupe nominalComplément de lieu Groupe nominal
PronomComplément de temps Groupe nominal
Pronom
TABLEAU 4.1 – Typologie des questions
Sur la base de cette classification, nous avons implémenté une classe java par
type de question recensé, en regroupant l’objet direct et l’attribut du sujet puisque
la seule différence entre les deux catégories est qu’elles dépendent ou non d’un
verbe copule. À ces questions partielles, portant sur un élément de la phrase,
nous avons ajouté une classe qui génère des questions totales (dont la réponse
peut-être oui ou non) portant sur la globalité de la phrase.
La typologie se limite ici, comme dans les travaux présentés à la section 2.2, à
des questions essentiellement factuelles et proches du texte. Dans un éventuel
88
développement de nos recherches, nous pourrions envisager de poser des ques-
tions plus complexes de type comment ou pourquoi, mais nous avons laissé de
côté cette piste dans le cadre du présent travail. De même, cette typologie peut
paraitre simpliste en regard de celles exposées au chapitre 1. Il nous semble dès
lors pertinent d’envisager de l’élargir dans des travaux ultérieurs.
4.2.2 Présentation générale de l’algorithme
Chaque règle se construit selon une même structure. Il s’agit d’une classe java
qui prend en paramètre une chaine de caractères, qui est la structure en arbre de
la phrase de base sous forme parenthésée. On présuppose que cette chaine a subi
les pré-traitements développés dans la section précédente. A partir de cette forme,
un objet de type Tree est créé, afin qu’il soit lisible et manipulable par Tregex et
Tsurgeon.
Une fois cet arbre créé, une méthode teste un patron Tregex sur ce dernier. Ce
patron vérifie que la règle en question peut être appliquée à l’arbre. Par exemple,
si l’on teste la règle pour former une question qui concerne le sujet, on vérifie la
présence d’un sujet dans la phrase et, s’il est présent, on le balise comme tel. Si le
patron est reconnu, la phrase est soumise à des transformations pour devenir une
question. Dans le cas contraire, soit on ignore la règle, soit on teste un autre patron
qui conviendrait également. Cette dernière étape est répétée jusqu’à un éventuel
matching. Si aucun patron n’est jamais repéré, la règle n’est pas appliquée pour
la phrase et aucune question de ce type n’est donc générée. Les tests de patrons
successifs partent toujours du cas le plus particulier pour aller vers le plus général.
4.2.3 Structure de base d’une règle
Globalement, chaque règle applique les opérations illustrées dans l’exemple
exposé dans la figure 4.1, portant sur la génération d’une question concernant le
complément de lieu.
89
TOP
SENT
.
PP
Angleterre +PAYS +LIEUen
SC
FV
inventéeétéa
NP
locomotiveLaTOP
SENT
.
SC
FV
inventéeétéa
NP
locomotiveLa
QUESTION
Angleterre +PAYS +LIEUen
(a)
(b) Où | (c) Dans quel pays (d) a-t-elle été inventée
1. Identification du complément de lieu (Tregex) :
PP=loc[<</LIEU/] $−− (SC < (FV=verb $−− NP=subj))2. Transformation :
(a) Déplacement du complément de lieu en tête de phrase
(b) Remplacement du complément de lieu par où
(c) Si le complément de lieu est un pays, une région, ou une ville, on peut leremplacer par, respectivement dans quel pays, dans quelle région, dansquelle ville . À terme, une procédure de génération de paraphrases pluscomplexe est envisagée, mais le système actuel se limite à ces quelquesrègles.
(d) Inversion Sujet-Verbe avec répétition d’un pronom, accordé avec lesujet, si celui-ci n’en est pas déjà un.
Exemple : La locomotive a été inventée en Angleterre. ⇒ Où la locomotive a-t-elleété inventée ? Dans quel pays la locomotive a-t-elle été inventée ?
FIGURE 4.1 – Génération de questions sur le complément de lieu.
4.2.4 Détail des différentes règles
Nous citons brièvement ici les grandes étapes de chaque règle, en prenant soin
de préciser pour chacune le patron Tregex que l’on doit repérer et les différentes
opérations de transformation appliquées à la phrase pour obtenir la structure
profonde de la question.
90
Questions sur le sujet
1. Le sujet est une proposition subordonnée– Tregex : SC=subj[<<CONJQUE] & [$++ FV=verb] & [>>,TOP]
– Tsurgeon : On remplace toute la proposition SC par Qu’est-ce qui .
– exemple : Que tu sois là ne m’étonne pas → Qu’est-ce qui ne m’étonne pas ?
2. Le sujet est une proposition infinitive– Tregex : IV=subj[ !<<,PREP] & $++ FV=verb
– Tsurgeon : On remplace toute la proposition IV par Qu’est-ce qui .
– exemple : Dormir est important pour vivre → Qu’est-ce qui est important pour vivre ?
3. Le sujet est un syntagme nominal– Tregex : NP=subj $++ (FV=verb[< VERB=verbalform])
– Tsurgeon : On balise le sujet puis sa tête
– Si le sujet est impersonnel (ex : il pleut), on ne génère pas de question
– Si le sujet est une personne (information donnée par XIP) ou un pronom de la première
ou de la deuxième personne, on le remplace par qui .
– Si le sujet est une entité nommée de type ville, région, pays ou organisation (information
donnée par XIP), il est remplacé, respectivement par Quelle ville , Quelle région , Quel
pays ou Quelle organisation .
– Remplacement du verbe par sa forme de la 3ème personne du singulier et mise au singulier
de tout ce qui se rapporte au sujet.
– exemple : Nous sommes partis étudier en France → Qui est parti étudier en France ?
Questions sur le complément direct et l’attribut du sujet
1. Le COD est une proposition subordonnée– Tregex : (SC = obj[<<BG] $− (SC[<<(FV=verb[<<VERB=verbalform] & $ NP = subj)]))
– Tsurgeon : Remplacement de la proposition SC par que .
– Inversion Sujet−Verbe et placement du pronom interrogatif en tête de phrase
– exemple : Jean veut qu’il parte → Que veut Jean?
2. Le complément est un attribut du sujet sous forme adjectivale– Tregex : (AP = obj[<<OBJ] $− (SC[<<(FV=verb[<<VERB=verbalform] & $ NP = subj)]))
– Tsurgeon : Placement de l’adjectif en tête de phrase
– Si le verbe est un verbe copule (dans le cas contraire, aucune question n’est générée
puisque l’adjectif ne peut alors être attribut), remplacement de l’adjectif par comment
– Inversion Sujet−Verbe
– exemple : Pierre est généreux envers ses amis → Comment est Pierre envers ses amis ?
91
3. Le complément est un syntagme nominal (soit attribut, soit COD)– Tregex : NP=cod $−− (SC < (FV=verb[<<VERB=verbalform] & $−− NP=subj))
– Tsurgeon : Placement du complément en tête de phrase
– Cas où le verbe est copule (le complément est donc attribut)
– Si le sujet est une personne, remplacement de l’attribut par qui
– Si le sujet n’est pas une personne, remplacement de l’attribut par que
– Inversion Sujet−Verbe
– exemple : Eddy est un cycliste professionnel > Qui est Eddy ?
– Cas où le verbe n’est pas copule (le complément est donc COD)
– Si le complément est temporel ou locatif (information donnée par XIP), aucune
question n’est générée (ex : Il habite Lyon)
– Si le complément est une personne, remplacement de celui-ci par qui
– Si le complément n’est pas une personne, remplacement de celui-ci par que
– Inversion Sujet−Verbe
– exemple : Il achète des pommes → Que achète-t-il ? 3
Questions sur le complément indirect
1. Complément d’Objet Indirect « classique »– Tregex : PP=coi[<PREP=prep & <NP=obj] & $−− (SC < (FV=verb[<,VERB = verbalform]
& $−− NP=subj))
– Tsurgeon : Placement de la préposition et de son objet en tête de phrase
– Si le complément est temporel ou locatif (information donnée par XIP), on ne génère
pas de question, une autre classe gérant ce cas.
– Si le complément est une personne, remplacement de celui-ci par qui
– Si le complément n’est pas une personne, remplacement de celui-ci par quoi
– Inversion Sujet−Verbe avec répétition d’un pronom, accordé avec le sujet, si celui-ci
n’en est pas déjà un.
– exemple : François donne un cadeau à Marie → À qui François donne-t-il un cadeau ?
2. Le complément est un complément de lieu– Tregex : PP=loc[<</LIEU/] $−− (SC < (FV=verb $−− NP=subj))
– Tsurgeon : Placement de la préposition et de son objet en tête de phrase
– Première transformation : on remplace la préposition et son objet par où
– Deuxième transformation (reformulation) : Si le complément est un pays, une région,
ou une ville, on le remplace par, respectivement dans quel pays , dans quelle région dans
quelle ville
3. Le cas de l’élision du que sera résolu dans les post-traitements
92
– Dans les deux cas : Inversion Sujet−Verbe avec répétition d’un pronom, accordé avec le
sujet, si celui-ci n’en est pas déjà un.
– Alex se rend à Paris → Où Alex se rend-il ? Dans quelle ville Alex se rend-il ?
3. Le complément est un complément de temps– Tregex : PP=time[<<PREP = prep & << /TIME/] $−− (SC < (FV=verb $−− NP=subj))
– Tsurgeon : Placement de la préposition et de son objet en tête de phrase
– Première transformation : on remplace la préposition et son objet par quand
– Deuxième transformation (reformulation) : Si le complément est un mois, une année,
ou un jour, on le remplace, tout en gardant la préposition de base, par, respectivement
quel mois , quelle année et quel jour
– Dans les deux cas : Inversion Sujet−Verbe avec répétition d’un pronom, accordé avec le
sujet, si celui-ci n’en est pas déjà un.
– exemple : Loïc est né en 1988 → Quand Loïc est-il né ? En quelle année Loïc est-il né ?
Un cas à part : les questions globales
La différence qui touche ce type de règles est qu’on ne se base pas sur la réponse
à la question pour la générer, mais qu’on applique juste une très légère transfor-
mation sur la phrase pour en générer une question du type est-ce que suivi du
reste de la phrase. La seule complexité tient aux phrases négatives, desquelles on
supprime la négation pour rendre la question correcte.
(95) Jean ne viendra pas demain → Est-ce que Jean viendra demain ?
Notons que nous sommes en contradiction avec ce que nous développons
dans la première partie de ce mémoire, présentant les tours en est-ce que comme
appartenant à un registre moins normé. Il aurait dès lors été plus cohérent de
former les questions totales par inversion simple ou complexe du sujet et du verbe,
comme le décrit Langacker (1965).
4.2.5 Traitement des inversions
La méthode que nous avons développée pour gérer les inversions prend pour
base théorique ce que nous avons étudié dans la première partie de ce travail
(section 1.2.3). Comme nous l’avons vu, il existe deux types d’inversion – les inver-
sions simples et les inversions complexes – dont le processus diverge. Par ailleurs,
93
certaines questions ne demandent pas d’inversion. C’est le cas des questions
portant sur le sujet, sur le complément direct et sur l’attribut du sujet, mais aussi
des questions globales, que nous avons préféré générer avec l’introducteur est-ce
que.
En préambule à ces inversions, le sujet est balisé grâce à Tregex et Tsurgeon et
est compris entre les étiquettes SUBJECT et ENDSUBJECT. La forme verbale com-
plète, elle aussi, a été préalablement balisée et est comprise entre les étiquettes
STARTVERB et ENDVERB.
Inversion simple
Dans ce cas, on procède, grâce à des expressions régulières, à un déplacement
de la forme verbale devant le sujet. Si la forme verbale est composée 4, le sujet
sera inséré entre l’auxiliaire et le reste de la forme. Une méthode gère ensuite les
élisions, traits d’union... pour donner une forme correcte à l’inversion.
Exemples :– Temps simple : Il part à Londres → Où part-il ?– Temps composé : Il est parti à Londres → Où est-il parti ?
Inversion complexe
La tête du syntagme sujet est repérée grâce à la balise STARTHEAD-ENDHEAD.
On en récupère le genre et le nombre 5. Ensuite, on ajoute le pronom correspon-
dant à ces traits à la suite du verbe si celui-ci est simple ou entre l’auxiliaire et le
reste de la forme verbale dans le cas d’une forme composée. La même méthode
que pour les inversion simples est enfin appliquée pour donner la forme correcte
à l’inversion.
Exemples :– Temps simple : Jean part à Londres → Où Jean part-il ?– Temps composé : Jean est parti à Londres → Où Jean est-il parti ?
4. Pour vérifier ça, on regarde si on repère le trait AUXIL entre les balises STARTVERB etENDVERB
5. Si ceux-ci sont inconnus, le masculin singulier est appliqué par défaut
94
4.3 Post-traitements
Pour récupérer la question dans une forme « propre », nous appliquons une
série d’opérations légères qui permettent, à partir de la structure profonde de la
question générée, de récupérer la question de surface, nettoyée à l’aide d’expres-
sions régulières. On n’agit ici que sur la forme et on ne touche plus au fond. Ce ne
sont finalement que des transformations mineures, mais néanmoins nécessaires
puisqu’elles permettent de rendre un résultat final acceptable. Les opérations
effectuées sont les suivantes :
– Suppression de toutes les informations données par XIP (informations mor-
phologiques, dépendances et lemmes).
– Résolution des problèmes typographiques (réduction des trop longues es-
paces...).
– Gestion des élisions (que + voyelle, se + voyelle...).
– Ajout d’une majuscule en tête de phrase.
– Ajout d’un point d’interrogation en fin de phrase.
4.4 Synthèse
L’architecture de notre système se déroule en trois grandes phases. La figure
4.2 synthétise celles-ci dans un schéma récapitulatif qui reprend toutes les étapes
successives du générateur, partant du texte source vers les questions générées.
95
PRÉ-TRAITEMENTSPremières simplifications basiques
Analyse syntaxique
Construction de superchunks
Simplification par suppressionde syntagmes
GÉNÉRATION DES QUESTIONS PARTIELLES
Identification du syntagme cible
Premières simplifications basiques
Déplacement du syntagme en tête de phrase
Remplacement par le motinterrogatif approprié
Inversion sujet verbe
GÉNÉRATION DES QUESTIONS TOTALES
Insertion d'un tournure est-ce queen tête de phrase
Suppression de la négation
POST-TRAITEMENTSRécupération de la forme de surface
Résolution des problèmes typographiques
TEXTE BRUT
LISTE DE QUESTIONS
FIGURE 4.2 – Schéma de l’architecture du système
96
CHAPITRE 5
ÉVALUATION
Nous détaillons dans ce chapitre la procédure d’évaluation que nous avons mise
en place pour notre outil. Nous avons choisi une évaluation manuelle par des
annotateurs humains plutôt qu’une évaluation statistique, plus complexe à mettre
en place. Nous commençons par expliquer le constitution du corpus d’évaluation
et le questionnaire soumis aux évaluateurs. Ensuite nous présentons en quelques
chiffres notre « population » d’évaluateurs avant d’envisager les résultats de la
procédure. Nous terminons par une brève conclusion sur ces résultats.
5.1 Procédure
Délimitation du corpus d’évaluation
Nous avons voulu évaluer les performances de l’outil sur des textes de types
différents mais aussi de niveaux différents afin d’évaluer le comportement du
générateur en fonction de la difficulté des textes qui lui sont soumis. Pour ce faire,
trois corpus de 10 phrases ont été créés, issus de trois sources différentes :
– WIKI_SIMPLE a été extrait de Wikimini 1 et Vikidia 2, deux encyclopédies
web adaptées aux jeunes enfants.
1. http://fr.wikimini.org/2. http://www.vikidia.org
97
– WIKI est issu de Wikipédia 3 et traite de sujets similaires au premier.
– PRESSE est tiré d’articles de presse en ligne.
Étant donné que WIKI_SIMPLE contient des textes pour enfants, nous l’avons
considéré commme le corpus ayant le niveau de difficulté le plus faible. Au vu
de la qualité rédactionnelle présumée des articles de presse (écrits par des pro-
fessionnels), nous avons considéré le corpus PRESSE comme celui au plus haut
niveau de difficulté. WIKI, vu l’hétérogénéité de son contenu, a été considéré
comme le corpus de niveau intermédiaire.
À partir de ces corpus, 78 questions ont été générées. Toutes les phrases du
corpus sont reprises en annexe, accompagnées des questions générées à partir de
celles-ci (Annexe B). Le tableau 5.1 donne la répartition de ces questions selon le
corpus.
Corpus Nombre de questions
WIKI_SIMPLE 36WIKI 21PRESSE 23
TABLEAU 5.1 – Nombre de questions générées par corpus
D’emblée, on observe une forte disparité entre les différents corpus. Les deux
plus complexes génèrent apparemment moins de questions que celui considéré
comme le plus simple. Nous discutons de cela plus loin dans ce chapitre.
Le questionnaire soumis
Les questions ont été divisées en quatre parties, en séparant le premier groupe
en deux, de manière à ce que l’évaluation ne soit pas trop lourde pour les partici-
pants et qu’ils puissent étaler leurs réponses dans le temps. Les quatre question-
naires ont ensuite été soumis aux évaluateurs et ceux-ci devaient noter chaque
question selon deux modalités.
3. http://www.wikipedia.org/
98
D’abord, une évaluation quantitative leur était proposée, demandant d’attribuer
une note à la question proposée, allant de 1 à 4. Les explications étaient les
suivantes :
Attribuez un score à la question, allant de 1 à 4 selon son acceptabilité
1. irrecevable : la question est incohérente et grammaticalement incor-recte (ex : Pierre est en train de travailler → Que est en travailler trainde ?)
2. mauvaise : la question contient des problèmes grammaticaux et/oude sens (ex : Pierre est en train de travailler → En quoi Pierre est de tra-vailler? (problème de sens), Qui suis en train de travailler ? (problèmegrammatical))
3. correcte : la question est grammaticalement correcte et a du sens maisest juste un peu mal posée (ex : Pierre est en train de travailler →Qu’est-ce qui est en train de travailler ?)
4. parfaite : la question est grammaticale, bien formée et pertinente (ex :Pierre est en train de travailler → Qui est en train de travailler ?)
Ensuite, les évaluateurs devaient réaliser une analyse plus qualitative de la
question en répondant à un questionnaire de type « vrai ou faux ». Le but de
cette étape était de pouvoir déterminer quels critères d’acceptabilité posaient
problème et lesquels étaient satisfaisants. Voici les différentes affirmations qu’il
fallait évaluer :
– Cette question est grammaticalement correcte– Cette question est facilement compréhensible– Cette question est non-ambigüe (la réponse est unique et claire)– Poser cette question me semble pertinent– Cette question ne présente pas de problèmes typographiques (majuscules
intempestives, problèmes de ponctuation...)– Le mot introducteur est bien choisi pour cette question– Cette question contient assez d’information– Cette question ne contient pas trop d’information– Je retrouve facilement la réponse à cette question dans la phrase de base
Une zone de texte était par ailleurs disponible pour les éventuelles remarques,
propositions ou questions sur l’évaluation en elle-même ou sur les questions
générées. Ces remarques nous ont permis de nous rendre compte des problèmes
99
de clarté dans la procédure mise en place. De plus, quelques remarques récur-
rentes sur les questions générées ont été relevées, ce qui est intéressant pour une
évolution future du logiciel.
Profil des évaluateurs
Le formulaire d’évaluation a été diffusé au sein du groupe ILES du LIMSI. Nous
l’avons également envoyé à quelques enseignants de l’UCL, à des amis ayant
suivi une formation en linguistique, mais aussi dans notre entourage familial,
afin d’avoir une distinction entre « linguistes » et « non-linguistes ». Nous n’avons
malheureusement pas eu beaucoup de locuteurs non-natifs du français, ce qui ne
pourra donc pas être un critère à observer. Le tableau 5.2 présente le panel des
participants à cette évaluation.
Nombre d’éva-luateurs
Pourcentagede locuteursnatifs
Pourcentagede linguistes
Age moyen
Partie 1 17 100,00 70,50 30,35Partie 2 15 93,33 80,00 30,35Partie 3 11 100,00 63,63 31,91Partie 4 9 100,00 55,55 32,33
TABLEAU 5.2 – Profil des évaluateurs
La première constatation est que le nombre d’évaluateurs diminue fortement
au fil du questionnaire, la procédure étant peut-être un peu lourde et quelque
peu rébarbative. Dès lors, il aurait peut-être été intéressant de cibler davantage
les évaluateurs et de leur imposer de terminer le questionnaire. Concernant les
autres informations, on peut noter que seule la moyenne d’âge est stable et que
les résultats seront peut-être biaisés vu la variation du pourcentage de linguistes
ayant répondu à chaque partie.
5.2 Résultats et interprétations
Avant d’analyser plus finement nos résultats, il est intéressant de donner des
chiffres très généraux quant à ceux-ci. Le système obtient un score moyen pour
100
toutes les questions confondues de 2,87, ce qui est supérieur au score de 2,5
marquant le milieu de notre échelle de valeurs allant de 1 à 4. En outre, 41%
des questions se voient attribuer un score majoritaire de 4 et 29,5% un score
majoritaire de 3. Le tableau 5.3 donne quelques exemples de questions générées,
avec le score qui leur est majoritairement attribué.
Score Question Phrase de base4 Qu’enregistre L’observatoire volcano-
logique du Piton de la Fournaise de-puis le 14 août?
L’observatoire volcanologique du Piton de la Four-naise enregistre depuis le 14 août une augmenta-tion lente mais continue du nombre de séismes.
3 En quelle année la SNCF a-t-il mis enservice le TGV ?
En France, pour permettre une meilleure fréquen-tation de ses trains, la SNCF a mis en service leTGV en 1981.
2 De quoi Un train est-il composé etpeut être tracté par une locomotive ?
Un train est composé de plusieurs voitures (pourtransporter des personnes) et/ou de plusieurs wa-gons (pour transporter des marchandises), et peutêtre tracté par une locomotive.
1 Que Le riz est plus utilisée comme ali-ment par l’homme ?
Le riz est la céréale la plus utilisée comme alimentpar l’homme.
TABLEAU 5.3 – Exemples de questions générées associées à leur score majoritairement obtenu
Nous avons également mesuré l’accord inter-annotateurs pour chaque sous-
corpus de questions à l’aide de la mesure du kappa (Fleiss, 1971). En ce qui
concerne le score, le kappa varie de 0,3 à 0,381, ce qui correspond à un accord
faible. Toutefois, les accords pour les scores extrêmes 1 et 4 sont meilleurs et
varient de 0,26 à 0,58 pour le score minimal de 1 et de 0,442 à 0,622 pour le score
maximal de 4. Les scores intermédiaires 2 et 3 correspondent à des valeurs de
kappa faible. Ceci démontre que l’échelle devrait être encore réduite dans des
évaluations ultérieures, les scores intermédiaires étant apparemment moins bien
compris et utilisés par les annotateurs.
Ces quelques traits maintenant esquissés, nous étudions les résultats de l’éva-
luation selon trois angles distincts et complémentaires avant de conclure sur le
sujet. D’abord, nous envisageons l’évaluation selon les quatre parties du formu-
laire, en émettant l’hypothèse que les résultats sont meilleurs pour la première
101
que pour la dernière partie, vu le niveau de difficulté présumé des corpus. Ensuite,
nous nous attardons sur les résultats en fonction du nombre de mots que contient
la phrase de base, postulant de meilleurs scores pour les phrases les plus courtes,
celles-ci ayant un potentiel plus faible d’être bruitées. Enfin, nous analysons les
résultats en regard du type de question générée, sans aucun a priori, mais simple-
ment pour observer quel type est le plus performant et quelles règles devraient par
contre être améliorées. Pour chacune de ces parties, nous partons d’un tableau de
résultats que nous analysons afin d’en tirer des conclusions.
Évaluation par partie
Part.1 Part.2 Part.3 Part.4 Moy.
Nombre de phrases de base 6 4 10 10 7,5Nombre de questions 19 17 21 21 19,5Moyenne de questions générées par phrase 3,17 4,25 2,1 2,1 2,9Moyenne de mots par phrase de base 10,33 12,25 24,3 26,7 18,39Moyenne de mots par question 11,36 9,72 12,86 19,68 13,4Nombre de questions de type suj 6 4 7 7Nombre de questions de type cod 5 2 5 4Nombre de quesions de type coi 2 3 2 0Nombre de questions de type temps 0 2 0 1Nombre de questions de type temps2 0 2 0 1Nombre de questions de type lieu 0 0 0 2Nombre de questions de type lieu2 0 0 0 1Nombre de questions globales 6 4 7 5Nbre de participants 17 15 11 9 13Accord inter-évaluateurs 33,9 30 38,1 31,9Âge moyen des participants 30,35 30,35 31,91 32,33 31,24Pourcentage de locuteurs natifs 100,00 93,33 100,00 100 98,33Pourcentage de linguistes 70,50 80,00 63,63 55,55 67,42Score moyen obtenu (sur l’échelle 1–4) 2,9 2,95 2,75 2,89 2,87Pourcentage de 1 16,71 10,19 24,24 12,69 15,96Pourcentage de 2 14,55 20 13,85 22,75 17,79Pourcentage de 3 30,34 34,11 28,13 25,39 29,49Pourcentage de 4 38,39 35,68 33,76 39,15 36,75Cette question est grammaticalement cor-recte (%)
69,96 58,82 59,30 22,22 52,58
Cette question est facilement compréhen-sible (%)
62,84 71,37 54,54 60,84 62,4
Cette question est non ambigüe (la réponseest unique et claire) (%)
57,27 78,03 54,97 63,49 63,44
102
Part.1 Part.2 Part.3 Part.4 Moy.Poser cette question me semble pertinent(%)
60,06 76,47 59,30 70,37 66,55
Cette question ne présente pas de pro-blèmes typographiques (%)
30,65 60,78 58,00 42,32 47,94
Le mot introducteur est bien choisi pourcette question (%)
66,87 73,72 63,06 78,30 70,49
Cette question contient assez d’informa-tion (%)
76,47 81,96 68,83 75,13 75,6
Cette question ne contient pas trop d’infor-mation (%)
70,58 90,58 71,86 70,37 75,85
Je retrouve facilement la réponse à cettequestion dans la phrase de base (%)
77,77 89,80 61,36 76,11 76,26
TABLEAU 5.4 : Évaluation par partie
On remarque en analysant ces résultats que l’on ne peut pas réellement dégager
une tendance générale quant à l’évolution entre les différentes parties. Le score
moyen des questions, par exemple, ne varie pas significativement et les petites dif-
férences vont même à l’encontre de ce que l’on pourrait attendre puisque le score
de la partie 4, soit le corpus considéré comme le plus complexe est légèrement
plus élevé que celui de la partie 3, pourtant considéré comme plus simple. En
outre, on peut remarquer que les différences de résultats sont relativement élevées
entre les deux premières parties, alors qu’elles proviennent du même corpus, ce
qui nuit à la pertinence des interprétations possibles. Notons aussi un accord
inter-annotateurs (calculé à l’aide de la mesure de kappa de Fleiss (1971)) peu
performant, ce qui rend peu interprétables les résultats. Tout cela nous amène à
considérer que cette évaluation par partie n’est pas très pertinente et qu’il serait
peut-être intéressant de se baser sur d’autres critères, plus objectifs.
103
Évaluation par nombre de mots dans la phrase de base
Longueur de la phrase de base (en mots) <10 10—14 15—19 >=20
Nombre de phrases 5,00 7,00 5,00 13,00Nombre de questions générées 14,00 20,00 16,00 28,00Moyenne de questions générées par phrase 2,80 2,86 3,20 2,15Score moyen obtenu 3,36 2,56 2,28 3,16Pourcentage de 1 1,81 27,43 29,89 7,18Pourcentage de 2 11,81 19,09 26,63 14,05Pourcentage de 3 34,54 23,26 28,26 33,66Pourcentage de 4 51,81 30,28 15,21 45,09Cette question est grammaticalement cor-recte (%)
90,00 52,43 44,64 58,58
Cette question est facilement compréhen-sible (%)
82,72 56,59 36,41 69,93
Cette question est non ambigüe (la réponseest unique et claire) (%)
69,09 65,97 41,84 69,28
Poser cette question me semble pertinent(%)
71,36 64,93 51,63 71,89
Cette question ne présente pas de pro-blèmes typographiques (%)
35,00 45,13 43,47 59,15
Le mot introducteur est bien choisi pourcette question (%)
80,45 60,00 70,10 71,83
Cette question contient assez d’informa-tion (%)
79,54 73,61 67,93 80,06
Cette question ne contient pas trop d’infor-mation (%)
93,63 79,16 50,00 75,81
Je retrouve facilement la réponse à cettequestion dans la phrase de base (%)
87,68 76,92 53,04 78,75
TABLEAU 5.6 – Évaluation en fonction de la longueur de la phrase de base
Ces résultats vont à l’encontre de notre première intuition. En effet, les meilleurs
résultats se retrouvent clairement dans les questions générées à partir de phrases
soit très courtes, soit très longues, comme le montre le graphique suivant (figure
5.1), reprenant le score moyen des questions générées pour chacune des catégories
envisagées.
104
<10 10-14 15-19 >=201
1,5
2
2,5
3
3,5
4
Longueur de la phrase de base (en mots)
Sco
re m
oyen
obt
enu
FIGURE 5.1 – Score des questions générées en fonction de la longueur de la phrasede base
On observe que, jusqu’à vingt mots dans la phrase de base, les scores des ques-
tions générées diminuent au fur et à mesure que cette dernière s’allonge. Or, les
phrases de plus de vingt mots voient le score de leurs questions augmenter consi-
dérablement, atteignant presque celui des plus courtes, renversant l’hypothèse
que plus la phrase serait longue, moins le générateur serait performant. Au-delà
de l’étonnement qu’engendre ce constat, il semble intéressant de nuancer ici nos
propos.
En premier lieu, on constate que, entre les phrases très longues et les ques-
tions qu’elles génèrent, le nombre de mots diminue significativement (de 32% en
moyenne). Ceci est dû au système de simplification de phrases que nous avons
implémenté. Les éléments superflus ayant été supprimés, la phrase est nette-
ment simplifiée et les questions générées le sont donc à partir d’occurrences plus
courtes. Ce constat, allié à de bons résultats, est positif puisqu’il conforte l’idée
105
de la nécessité d’une telle procédure 4. Certes, quelques informations ne sont pas
reprises dans les questions, mais ces dernières obtiennent globalement un score
plus élevé.
Ensuite, on remarque en analysant de manière plus fine les résultats dans
l’évaluation dite « qualitative » que les meilleurs scores se retrouvent souvent dans
les questions issues de phrases très courtes. Ce que l’on attendait se confirme
donc ici : le générateur pose moins de problèmes à partir de phrases courtes, ce
qui semble logique dès lors qu’elles sont relativement « pures » et non bruitées, ce
qui facilite nettement l’analyse syntaxique de la phrase. Pour certains critères par
contre, les longues phrases obtiennent un meilleur score que les plus courtes, mais
avec une différence qui est alors très légère, ce qui ne contredit pas l’interprétation.
Un dernier constat nuance les bons résultats engendrés par les longues phrases
de base : celles-ci génèrent en moyenne moins de questions que les phrases plus
courtes et certaines d’entre elles n’en génèrent même aucune. Le fait qu’on ne
tienne pas compte du rappel biaise donc quelque peu les résultats 5. Or le rappel
est sans doute largement moins performant pour les plus longues phrases. Une
réflexion sur ce dernier point sera à mener dans une future évaluation.
Partant du constat purement chiffré et des quelques limites que nous venons de
lui apporter, il est difficile de tirer une conclusion claire quant à la performance du
générateur en fonction de la taille de la phrase. Néanmoins, certaines tendances
ont été dégagées et on retiendra que, globalement, les meilleurs résultats sont ob-
servées sur les plus courtes phrases, mais aussi que la procédure de simplification
4. Notons qu’il aurait été intéressant de comparer les résultats du générateur avec et sansl’algorithme de simplification de phrases pour évaluer précisément son apport
5. Pour calculer le rappel, il aurait fallu pour chaque phrase recenser toutes les questionspossibles et les comparer avec celles qui ont été effectivement générées, ce qui aurait été uneprocédure certes intéressante mais relativement lourde dans le cas qui nous occupe
106
que nous avons implémentée semble avoir son intérêt au vu des résultats obtenus
pour les plus longues phrases.
Évaluation par type de question générée
Nous avons séparé, pour les catégories temps et lieu les questions standard
(quand et où) et les questions reformulées à l’aide du repérage d’entités nommées
(voir 4.2.4), d’où les distinctions tps – tps2 et lieu – lieu2.
Type suj cod coi tps tps2 lieu lieu2 glob
Nombre de questions 24 16 7 3 3 2 1 22Pourcentage par rapport aunombre total de questions
30,77 20,51 8,97 3,84 3,84 2,56 1,28 28,2
Moyenne de mots par question 14,91 10,63 12,00 13,66 15,33 24,00 22,00 15,36Score moyen obtenu 2,92 2,34 2,35 2,81 3,00 2,16 2,33 3,25Pourcentage de 1 11,92 28,15 17,82 30,77 12,82 22,22 0,00 9,51Pourcentage de 2 15,89 20,87 24,75 7,69 20,51 44,44 66,67 11,27Pourcentage de 3 34,10 26,21 25,74 28,20 12,82 27,77 33,33 32,04Pourcentage de 4 38,07 24,75 31,68 33,33 53,84 5,55 0,00 47,18Cette question est grammaticale-ment correcte (%)
69,35 33,52 62,00 13,33 13,33 22,22 11,11 89,95
Cette question est facilement com-préhensible (%)
64,23 34,46 40,59 66,66 71,79 38,88 11,11 90,84
Cette question est non ambigüe (laréponse est unique et claire) (%)
61,25 38,83 46,53 84,61 89,74 61,11 44,44 83,09
Poser cette question me semblepertinent (%)
65,23 45,14 46,53 82,05 92,30 72,22 55,55 83,09
Cette question ne présente pas deproblèmes typographiques (%)
82,45 32,03 20,79 35,89 38,46 5,55 11,11 35,56
Le mot introducteur est bien choisipour cette question (%)
63,57 52,17 50,49 97,83 97,43 72,22 66,66 90,07
Cette question contient assez d’in-formation (%)
79,47 57,76 71,28 79,48 79,48 88,88 55,55 85,56
Cette question ne contient pas tropd’information (%)
74,50 66,50 75,24 87,17 94,87 44,44 22,22 84,15
Je retrouve facilement la réponseà cette question dans la phrase debase (%)
75,49 55,82 66,33 92,30 94,87 72,22 44,44 91,09
TABLEAU 5.8 – Évaluation par type de question générée
107
Sur le graphique 5.2, nous représentons la répartition des questions générées
en fonction de leur type. On y voit que les questions les plus nombreuses sont
les questions globales et celles portant sur le sujet puis celles portant sur le com-
plément direct. Toute phrase pouvant être acceptée par la règle générant les
questions globales et le sujet étant l’élément le plus aisé à repérer dans une phrase,
ces résultats semblent « logiques ».
SujetCODCOITempsTemps2LieuLieu2Globales
FIGURE 5.2 – Répartition des types de questions générées
Observons maintenant, via un graphique (5.3), le score moyen des différents
types de questions :
108
Sujet COD COI Temps Temps2 Lieu Lieu2 Globales1,00
1,50
2,00
2,50
3,00
3,50
4,00
Type de question
Sco
re m
oyen
obt
enu
FIGURE 5.3 – Score moyen des questions en fonction de leur type
Les questions qui obtiennent le meilleur score moyen sont les questions glo-
bales, de type est-ce que, suivies par les questions sur le sujet. Viennent ensuite
avec un score comparable les questions sur les objets directs et indirects. Les
compléments de lieu et de temps ont des scores variables, mais il est plus difficile
d’analyser leur score tant elles sont peu nombreuses.
Ces résultats correspondent à la complexité des règles de génération pour les
différents types de questions : la génération de questions globales et de questions
sur le sujet est généralement plus simple. En effet, il n’est pas nécessaire d’iden-
109
tifier un syntagme spécifique dans la phrase pour les questions globales et, par
ailleurs, le sujet est généralement assez facile à identifier dans la phrase. Ceci cor-
respond également aux capacités des analyseurs syntaxiques : les dépendances
sujets sont les plus faciles à identifier.
5.3 Conclusion
Si ces résultats sont appréciables, au vu des 41% des questions considérées
comme parfaites et du score moyen de 2.87, cette phase d’évaluation a pu mettre
au jour divers problèmes que nous présentons ici selon deux volets. D’une part,
nous exposons les erreurs récurrentes trouvées dans les questions générées et
d’autre part nous évoquons les problèmes liés à la phase d’évaluation proprement
dite, dans la perspective d’une procédure automatique ultérieure.
Problèmes récurrents dans les questions
Nous relevons ici les principaux problèmes retrouvés dans les questions, en
nous basant sur l’évaluation qualitative, mais aussi sur les commentaires des
évaluateurs et sur notre propre lecture des questions.
– Majuscules intempestives : la majuscule de début de phrase se retrouve
au milieu de la question. A première vue, le problème semble facilement
résoluble en supprimant d’emblée cette majuscule, mais le risque serait que
les noms propres initiaux ne soient plus considérés comme tels par XIP. Le
problème reste à régler mais semble surmontable.
(96) Le train a un moteur → Qu’a Le train?
– Problèmes d’accord : si un terme féminin est considéré comme masculin
par XIP, il y a une potentialité d’erreur dans la question générée dans le
110
cas où ce terme est réutilisé sous forme de pronom par exemple. On est
dépendants ici de l’analyseur utilisé.(97) En France, pour permettre une meilleure fréquentation deses trains, la SNCF a mis en service le TGV en 1981. → Quand laSNCF a-t-il mis en service le TGV?
– Confusion dans l’analyse : XIP identifie mal un terme et le générateur ren-
voie une question non-désirée. Dans l’exemple 98, « le plus » est détecté
comme substantif par XIP, le générateur l’identifie donc à tort comme un
COD.(98) Le riz se cultive le plus souvent dans des rizières inondéesd’eau. → Que se cultive Le riz souvent dans des rizières inondéesd’eau ?
– Questions trop peu précises dues à une phrase trop peu précise : si le ré-
férent n’est pas clair dans la phrase de base, une question imprécise et
parfois vide de sens est générée. Une détection de ce type de cas pourrait
être implémentée pour résoudre ce problème.
(99) Il a des roues en fer. → Est-ce qu’Il a des roues en fer ?
– Questions bruitées ou incohérentes : ici, soit l’analyse de base est mau-
vaise, soit il y a eu des erreurs dans le passage par la simplification, soit,
simplement, il aurait été nécessaire de passer par un véritable algorithme
de simplification de phrases, comme celui développé par Heilman et Smith
(2010a). Cela montre l’importance d’une telle étape et de la nécessité de
l’implémenter par la suite pour obtenir de meilleurs résultats.(100) Si tous les éléments du train sont motorisés, le train est unerame automotrice. → Si qu’est-ce qui est une rame automotrice ?
Critiques de la procédure d’évaluation
Une première erreur de notre part a été de ne jamais envisager le rappel, ce qui,
on l’a déjà vu, a pu biaiser les résultats. Ce point ayant déjà été traité, nous ne
111
nous y attardons pas davantage dans cette partie.
Ensuite, nous n’avons pas calculé l’accord inter-annotateurs dans toutes les
phases de l’évaluation, ce qui nuit à une bonne interprétabilité des résultats. Toute
inférence sur ceux-ci se doit donc d’être prudente même si on peut y déceler une
tendance. Le but n’était pas non plus d’avoir une évaluation exhaustive et parfaite
du générateur, mais bien d’avoir une idée globale de son taux de réussite.
D’un point de vue plus pratique, la procédure d’évaluation était peut-être un
peu lourde pour les participants. Cependant, nous pensons qu’elle était nécessaire
afin de pouvoir envisager les erreurs récurrentes pour les améliorer par la suite. Il
était difficile de se contenter d’une évaluation purement quantitative et binaire
dans cette première version. Avoir un avis plus détaillé de la part des évaluateurs
semblait plus intéressant.
Perspectives : une évaluation automatique
Depuis la fin du stage, le travail a déjà évolué et Delphine Bernhard a développé
un outil statistique de classement binaire entre les questions acceptables et celles
à refuser, se basant sur le système d’Heilman et Smith (2010b). Pour ce faire, 639
questions ont été générées et divisées en un corpus d’entraînement (500) et un
corpus de test (139). Nous les avons évaluées manuellement et un modèle a été
entraîné sur les 500 premières questions. Le modèle a ensuite été appliqué sur
le corpus de test et une probabilité qu’elle soit correcte a été attribuée à chaque
question. Cette solution est évidemment beaucoup plus intéressante à terme pour
pouvoir tester chaque question générée et la renvoyer à l’utilisateur uniquement
si elle obtient un taux d’acceptabilité jugé suffisant.
112
CHAPITRE 6
CONCLUSION : APPORTS ET LIMITES
Dans cette partie, nous avons présenté l’implémentation d’un générateur de
questions à partir de textes en français. Le programme que nous avons développé
fait figure d’une première pour le français et nous ne partions donc d’aucune base
concrète pour développer les règles de génération. Nous avons donc adapté des
outils existant pour l’anglais sur lesquels nous nous sommes largement basé et
qui nous ont indubitablement aidé dans nos démarches.
Malgré tout, comme nous avons tenté de le souligner tout au long de notre
exposé, de nombreuses limites subsistent encore. Un algorithme de simplification
efficace et puissant, tel que développé par Heilman et Smith (2010a), améliorerait,
nous en sommes convaincu, nettement les résultats. En outre, nous pensons
qu’une analyse sémantique plus fine de la phrase de base pourrait diversifier
davantage les questions, par la génération de paraphrases notamment. Une autre
piste à envisager est celle de la génération de questions plus transversales, qui
iraient récupérer des éléments dans plusieurs phrases d’un même paragraphe,
avec tous les problèmes et solutions que cela engendre (algorithmes de résolution
113
d’anaphores, analyse sémantique complexe du texte...).
Ce travail n’est qu’un début et surtout pas un aboutissement. Comme nous
avons tenté de le montrer, le domaine est vaste et complexe et nous pensons
qu’il mérite que l’on s’y attarde encore davantage. C’est pour cette raison que la
troisième partie de ce travail traite de pistes de réflexions pour améliorer notre
outil et propose un panorama du « chantier » qui attend les futurs chercheurs en
génération automatique de questions.
114
TROISIÈME PARTIE
PERSPECTIVES
La deuxième partie de notre travail a montré que, si notre système est un début
encourageant, il reste du chemin à parcourir avant qu’il ne soit réellement perfor-
mant. Le but de cette partie est de présenter une série de pistes de réflexion en
vue d’une amélioration de l’outil déjà implémenté.
D’une part, nous identifions, au chapitre 7, plusieurs problèmes mis en lumière
par l’évaluation et nous envisageons différentes méthodologies qui pourraient les
résoudre.
D’autre part, nous exposons, au chapitre 8, différentes pistes qui mèneraient
notre outil à générer des questions plus variées que celles actuellement prises en
compte par le système.
Ces différentes perspectives restent néanmoins liées à notre méthodologie de
départ. Nous continuons à nous consacrer à des questions formées par transfor-
mations syntaxiques d’une phrase de base. Cela implique que nous n’envisageons
pas dans cette partie de générer des questions plus transversales, portant sur un
texte dans sa globalité. En effet, la méthodologie utilisée dans ce cas est réso-
lument différente et nécessite des traitements complexes, comme la résolution
d’anaphores, une compréhension poussée de la progression informationnelle...
Toutefois, bien que nous ne les abordions pas dans le cadre de ce travail, ce
type de questions constitue un enjeu considérable en GAQ et demeure donc une
perspective à envisager dans les travaux futurs.
116
CHAPITRE 7
PROBLÈMES RENCONTRÉS ET SOLUTIONS
ENVISAGÉES
Comme nous l’avons montré dans la partie précédente, un certain nombre de
problèmes diminuent la performance de notre système. Nous en identifions trois
et proposons des pistes de réflexion afin de les éradiquer.
7.1 Problèmes typographiques
Les résultats montrent que les majuscules présentes en début de phrase décla-
rative subsistent dans la question générée, ce qui implique des erreurs quand le
mot n’est pas un nom propre et qu’il se situe au cœur de la question.
(101) Le train a un moteur. → Qu’a Le train?
Comme nous l’avons déjà souligné, on ne peut pas supprimer cette majuscule
en début de traitement. En effet, les noms propres initiaux ne seraient alors plus
repérés comme tels par l’analyseur, provoquant des erreurs de sens dans les
117
questions.
(102) jean est revenu. → Qu’est-ce qui est revenu ?
De même, une fois la question de surface générée, on ne peut se contenter
de supprimer toutes les majuscules de la phrase en ne conservant que celle qui
ouvre la question. En effet, certains noms propres perdraient alors leur majuscule
initiale, ce qui mène à une nouvelle erreur typographique.
(103) Jean a acheté une nouvelle voiture. → Qu’a acheté jean?
Face à ce constat, nous envisageons la procédure suivante, qui interviendrait en
fin de traitement, c’est-à-dire à partir de la question de surface.
1. Identification des termes portant une majuscule et qui ne se situent pas
en tête de phrase.
2. Identification des sigles et des acronymes : si le terme comporte plus d’une
lettre majuscule, il est laissé intact. On présume alors qu’il s’agit d’un sigle
ou d’un acronyme qui doit figurer en lettres capitales dans la question.
3. Comparaison du terme avec une liste des mots secondaires du français
comprenant les déterminants, pronoms et conjonctions. Si le terme repéré
se trouve dans la liste, sa majuscule initiale est transformée en minuscule.
4. Identification des noms propres. Si le terme n’est pas considéré comme
tel, il est transformé en minuscules. Dans le cas contraire, il est laissé intact.
L’identification peut se faire selon trois types de méthodes (Friburger, 2006) :
(a) Méthodes symboliques : systèmes à base de règles qui « utilisent des
descriptions linguistiques et des indices permettant de repérer les
noms propres (majuscule, présence d’un mot particulier) » (Friburger,
2006 :641).
118
(b) Méthodes par apprentissage : les connaissances sur les noms propres
sont construites en apprenant un modèle sur un corpus d’entraine-
ment.
(c) Méthodes hybrides : utilisation de règles écrites à la main et de règles
tirées de données d’entrainement grâce à des algorithmes d’apprentis-
sage.
Friburger (2006) propose l’utilisation d’ExtracNP (Friburger, 2002), un système
d’extraction de noms propres à base de règles développé dans le cadre du projet
Prolex 1. L’outil, qui atteint une précision de 94,4% pour le français, applique en
cascade une série de transducteurs à états finis qui permettent d’« extraire les
noms propres et de les catégoriser au moyen de leurs contextes gauches et droits,
et de preuves internes (présence d’un prénom, d’un mot comme Société, etc.) »
(Friburger, 2002), cité dans (Cori et al., 2003 :220).
Un transducteur est un « automate à états finis particulier qui établit une cor-
respondance entre deux ensembles de symboles » (Fairon et François, 2009) 2.
La figure 7.1, tirée de (Friburger et Maurel, 2001), donne un exemple de trans-
ducteur pour le repérage des prénoms composés (Jean-Pierre) ou abrégés (J-P),
l’appellation Prénom correspondant à un prénom déjà repéré.
1. « Le projet Prolex, piloté par le Laboratoire d’informatique (LI) de l’université François-Rabelais de Tours, a pour but de fournir, à la communauté du traitement automatique deslangues (Tal), des connaissances sur les noms propres, qui constituent, à eux seuls, 10% destextes journalistiques. Ceci par la création d’une plate-forme technologique comprenant undictionnaire électronique relationnel multilingue de noms propres (Prolexbase), des systèmesd’identification des noms propres et de leurs dérivés, des grammaires locales, etc. » http:
//www.cnrtl.fr/lexiques/prolex/ (Page consultée le 8 août 2011).2. Un automate à états finis est un graphe orienté étiqueté comprenant un ensemble de nœuds
(états) et de transitions orientées entre ces états (Beaufort, 2008 :23).
119
FIGURE 7.1 – Exemple de transducteur pour le repérage des prénoms composés
La solution proposée peut paraitre complexe pour ce problème qui peut sembler
banal, mais elle est nécessaire. En effet, dans une optique de diffusion du système,
on ne peut se permettre de garder ce genre d’erreur dans le résultat final.
7.2 Erreurs dues à l’analyseur
Notre évaluation a soulevé que certains problèmes dans nos résultats étaient
liés à l’analyseur syntaxique utilisé (i.e. XIP). Malheureusement, comme nous
l’avons déjà souligné, il est difficile d’agir sur cette analyse. Dès lors, plusieurs
solutions s’offrent à nous. La première serait de changer simplement d’analyseur
et de porter notre choix sur un outil plus performant. La deuxième, moins radicale
et proposée par Bernhard et al. (2011), est de combiner les résultats de plusieurs
analyseurs pour atténuer les problèmes découlant d’une analyse erronée.
La combinaison proposée est celle des analyseurs XIP (Ait-Mokhtar et al., 2002)
et Bonsai (Candito et al., 2010). XIP a déjà été présenté dans ce travail (section 3.1)
et nous ne nous y attardons pas ici. Quant à Bonsai, il s’agit d’une adaptation du
Berkeley Parser (Petrov et al., 2006) 3 au français, entrainé sur le French Treebank
3. Il s’agit d’un analyseur syntaxique probabiliste.
120
(Abeillé et al., 2003) 4. Bonsai ne comportant pas de modules de reconnaissance
d’entités nommées, il devra être combiné avec d’autres outils qui permettent cette
fonction. Nous revenons sur la détection d’entités nommées au chapitre suivant.
Le but de la combinaison de plusieurs analyses est de générer les questions à par-
tir des structures données par plusieurs outils et de choisir ensuite les meilleures
occurrences, grâce à un classifieur automatique, tel qu’expliqué au chapitre pré-
cédent, à la section 5.3. La combinaison de ces deux analyseurs permet donc
d’augmenter à la fois le rappel et la précision :
– Rappel : la méthode permet de générer davantage de questions. En effet,
une mauvaise analyse peut perturber notre système et empêcher la généra-
tion d’une question, qui pourra être générée grâce à une autre analyse.
– Précision : le choix des meilleures questions permet d’être plus sélectif et,
de cette manière, d’obtenir un meilleur score pour les questions générées.
7.3 Questions bruitées
Comme nous n’avons pas manqué de le souligner, de nombreuses erreurs
dans nos résultats sont imputables à l’absence d’un système de simplification
de phrases, qui interviendrait en amont ou en aval du processus de génération.
Nous pensons, à l’instar d’Heilman et Smith (2009), qu’il serait pertinent de faire
intervenir un tel système en préalable à la génération proprement dite. En effet,
cela permettrait de faciliter la transformation syntaxique de la phrase et donc de
générer des questions plus concises.
4. Le French Treebank est un corpus de presse en français, comportant un million de mots etannoté syntaxiquement (informations morphologiques, mots composés, lemmes, dépendances...)(Abeillé et al., 2003).
121
Ayant déjà présenté les motivations qui président à une telle opération (voir
section 2.2.3), nous retraçons ici les étapes nécessaires à l’implémentation d’un
système de qualité, tout en soulignant les enjeux mobilisés par la discipline.
Les systèmes peuvent fonctionner à base de règles ou selon une approche
probabiliste. Nous présentons donc brièvement ces deux méthodologies, par le
biais de deux outils implémentés pour l’anglais (Heilman et Smith, 2010a; Zhu
et al., 2010) .
Approches par règles
Il s’agit du type d’approche envisagée par Heilman et Smith (2010a) pour l’an-
glais. Nous reprenons ici leur méthodologie, en vue d’une adaptation éventuelle
de l’outil pour le français. Les auteurs proposent deux procédés pour simplifier
une phrase :
1. Simplification par implication sémantique. Levinson (1983) définit l’im-
plication de la manière suivante :
A implique sémantiquement B si et seulement si, partout où A est vrai,B est vrai aussi.
Pour réaliser cette simplification, les auteurs proposent d’extraire les clauses
en supprimant de la phrase de base les compléments et marqueurs de
discours suivants :
– Les appositives non restrictives
(104) Jefferson, le troisième président des USA,...
– Les relatives non restrictives
(105) Jefferson, qui était le troisième président des USA,...
– Les éléments entre parenthèses
122
(106) Jefferson (1743-1826),...
– Les modifieurs (au participe) de syntagmes nominaux
(107) Jefferson, étant le troisième président des USA,...
– Les modifieurs du verbe, compris entre virgules(108) Jefferson a étudié beaucoup de sujets, comme l’artisteLéonard de Vinci,...
– Les modifieurs qui précèdent le sujet
(109) Étant le troisième président des USA, Jefferson...
En outre, ils scindent les propositions liées par une conjonction de coordi-
nation quand une des deux propositions implique l’autre (110). Cela signifie
que les conjonctions ou et ni ne sont pas discriminantes dans le système
puisqu’elles ne supposent pas l’implication (111).(110) John étudie le jeudi mais se détend le vendredi. → (a) Johnétudie le jeudi. (b) John se détend le vendredi.
(111) John étudie le jeudi ou se détend le vendredi. → pas descission
2. Extraction des présuppositions : outre l’implication sémantique, il existe
une implication pragmatique, que l’on reprend sous le nom de présupposi-
tion. Levinson (1983) la définit de la manière suivante :
A présuppose B si et seulement si(a) si A est vrai, alors B est vrai(b) si A est faux, alors B est vrai.
Exemple : Soit la phrase Jefferson, qui est le troisième président des USA,est né en 1743.La première méthode, basée sur l’implication sémantique, supprimerala relative. Néanmoins, celle-ci peut tout à fait constituer une clauseà part entière du type Jefferson est le troisième président des USA. Laméthode basée sur les présuppositions va permettre l’extraction decette clause.
123
Il existe des déclencheurs de présuppositions qui facilitent l’extraction de
ces dernières. Il s’agit d’un sous-ensemble des constructions décrites plus
haut pour les implications sémantiques, ne comprenant que les éléments
susceptibles de constituer une clause sans qu’il ne soit nécessaire d’effectuer
des opérations syntaxiques complexes. Les éléments entre parenthèses, par
exemple, ne sont pas pris en compte puisqu’il nécessitent un traitement
compliqué pour être intégrés dans une phrase.
– Les appositives non restrictives 5
(112) Jefferson, le troisième président des USA,...
– Les relatives non restrictives
(113) Jefferson, qui était le troisième président des USA,...
– Les modifieurs (au participe) de syntagmes nominaux
(114) Jefferson, étant le troisième président des USA,...
– Les propositions subordonnées temporelles.
(115) Avant que Jefferson ne soit président, il...
Le système proposé par Heilman et Smith (2010a) se base donc sur les deux
opérations que nous avons décrites pour supprimer et extraire des clauses à partir
d’une phrase complexe. Ils utilisent dans ce but les outils Tregex et Tsurgeon
(Levy et Galen, 2006) 6 et développent leurs règles en agissant sur la structure
syntaxique des phrases entrées au programme. Les auteurs montrent que leur
système extrait en moyenne 1,63 clauses par phrase, celles-ci passant de 23,5 à
13,4 mots (moyenne).
5. Le terme non restrictif signifie que l’appositive n’est pas indispensable à la compréhensionde la phrase.
6. Voir section 3.2.
124
Systèmes probabilistes
Zhu et al. (2010) ont développé un système probabiliste de simplification de
phrases, basé sur des modifications d’arbres syntaxiques. Les auteurs envisagent
leur approche comme un outil de traduction de phrases complexes vers des
phrases plus courtes et plus lisibles. Ils entrevoient l’utilité d’un tel outil à la fois
pour les humains (accès plus aisé à un texte complexe) et pour les machines.
Dans ce dernier cas, l’opération pourrait être intégrée dans diverses applications,
comme le résumé automatique ou la génération de questions.
Les auteurs distinguent quatre types d’opération intervenant dans la simplifica-
tion automatique et agissant sur un arbre syntaxique :
– Le splitting : séparation de longues phrases en unités plus courtes.(116) Jean est parti avec la voiture qui appartient à son père. →(a) Jean est parti avec la voiture. (b) La voiture appartient à sonpère.
– Le dropping : suppression de partie de phrases.
(117) Jean est parti avec la voiture qui appartient à son père. →Jean est parti avec la voiture.
– Le reordering : changement de l’ordre des parties de la phrase.(118) Albert offre à Marie un cadeau → Albert offre un cadeau àMarie.
– La substitution : remplacement de syntagmes par des synonymes.
(119) Jean est parti en Audi A4. → Jean est parti en voiture.
À partir d’un modèle entrainé et d’une phrase complexe, une probabilité est
donnée à chaque opération et, si celle-ci est suffisante, l’opération est appliquée.
Le modèle est appris sur un jeu de données dans lequel des phrases simples et
complexes sont mises en parallèle. Le but n’est pas ici d’entrer dans les détails
125
du fonctionnement, mais bien de montrer que la possibilité d’une simplification
syntaxique par apprentissage est possible et que ses résultats sont encourageants.
En effet, les auteurs montrent que la lisibilité des phrases simplifiées est plus
haute que celle des phrases de base.
Synthèse
Les deux approches présentées en simplification de phrases sont radicale-
ment différentes, même si le but est identique et revient à proposer des phrases
plus courtes grâce à la modification de phrases complexes. Nous n’avons pas eu
l’occasion de proposer une évaluation comparée de ces outils, mais il semblerait
intéressant de l’envisager afin de choisir l’une ou l’autre méthodologie, à intégrer
en préalable à la génération de questions.
7.4 Conclusion
Trois problèmes majeurs peuvent être relevés dans la version actuelle de notre
système. Le premier est surtout un problème de surface et concerne les erreurs
typographiques, et plus particulièrement la présence de majuscules intempestives
dans les questions générées. Les deux autres sont plus complexes et provoquent
des erreurs plus conséquentes dans les questions, nuisant à leur compréhension,
voire à leur cohérence. Ces problèmes sont soit liés à l’analyseur, soit dus à une
phrase de base trop complexe, dont la manipulation est difficile. Pour chacun de
ces problèmes, nous envisageons une solution. Pour ce faire, nous nous basons
sur un panel de méthodologies et d’outils existants, que nous combinons pour
produire une nouvelle méthode, adaptée à nos besoins.
126
Pour les majuscules intempestives, notre approche se base grossièrement sur la
détection de noms propres pour décider du maintien ou de la suppression des
majuscules qui sont au cœur des questions générées.
Afin d’affiner notre analyse et de proposer les meilleures questions possibles,
nous envisageons la combinaison de plusieurs analyseurs syntaxiques pour géné-
rer des questions à partir de différentes analyses de la phrase de base. L’objectif
est de pouvoir choisir ensuite les questions les mieux formulées – voire les plus
pertinentes 7 – grâce à un classifieur automatique. Une telle approche permettrait
d’augmenter le rappel et la précision du système.
Enfin, dans le but de rendre les questions moins bruitées, nous proposons, dans
la lignée d’Heilman et Smith (2010a), de faire intervenir un module de simplifica-
tion de phrases en amont de la génération de questions. Ce module peut prendre
la forme d’un système symbolique ou probabiliste et permettrait de faciliter l’ana-
lyse des phrases de base, préalablement réduites à une forme simple.
Tant que ces différentes solutions n’auront pas été implémentées et intégrées
dans l’outil actuel, nous ne pouvons assurer qu’elles permettent une nette amélio-
ration du système. Néanmoins, ces pistes semblent pertinentes et il nous semble
intéressant de les mettre en œuvre afin de mesurer leur impact sur les résultats.
7. Ce problème de la pertinence, comme nous l’avons déjà remarqué, est complexe et mériteune réflexion qui dépasse le cadre de ce travail.
127
CHAPITRE 8
UNE PLUS GRANDE VARIÉTÉ DE QUESTIONS
Le système que nous avons développé se base sur les catégories grammaticales
des éléments d’une phrase pour définir la typologie des questions qu’il génère.
L’intérêt d’une telle méthodologie est que les règles sont élaborées en fonction
de la structure de la phrase de base. Toutefois, l’approche est restrictive dans
le sens où certains types de questions, repris dans la typologie mixte que nous
avons présentée au point 1.1.3 (page 29), sont ignorés par le système. En outre, les
questions générées restent très proches du texte de base, ce qui rend l’intérêt de
l’approche limité si le système est intégré dans un module de compréhension à
la lecture par exemple, pour lequel on s’attend à devoir chercher plus loin que la
surface textuelle pour trouver la réponse à une question.
Le but de ce chapitre est double. D’une part, nous proposons une extension
de la typologie à d’autres types de questions. Cela permettrait d’obtenir une
granularité plus fine dans les questions posées, mais aussi, très concrètement, de
proposer un système à la fois plus complexe et plus complet, avec des questions
plus variées. D’autre part, nous envisageons la génération de paraphrases à propos
129
des questions posées, afin de poser des questions moins proches du texte de base.
8.1 Élargissement de la typologie
8.1.1 Questions en quel
Pour traiter des questions en quel, deux cas de figure sont à envisager, dans la
mesure où leur procédé de formation est différent.
Règles s’appuyant sur la structure de la phrase
Ces règles concernent les questions sur le sujet quand celui-ci est accompagné
d’un attribut nominal, ce qui implique nécessairement la présence d’une verbe
copule. La transformation se base uniquement sur la structure de la phrase. Deux
configurations sont alors possibles :
1. L’attribut est un syntagme nominal défini : questions définitoires : pour
que cette règle s’applique, la phrase doit comporter un syntagme nominal
sujet et un attribut du sujet nominal défini. Pour former la question, il suffit
alors de remplacer le sujet par le mot interrogatif quel, accordé en genre et
en nombre avec le syntagme attribut du sujet.
(120) Durbuy est la plus petite ville du monde → Quelle est la plus petite
ville du monde ?
2. L’attribut est un syntagme nominal indéfini qui comporte un adjectif :
pour que cette règle s’applique, la phrase doit contenir un syntagme no-
minal sujet et un attribut du sujet qui soit un syntagme nominal défini,
comprenant un adjectif en son sein. Pour former la question, on déplace
l’attribut sans son adjectif en tête de phrase (b) et on remplace le détermi-
nant par quel, à la bonne forme (c).
(a) Durbuy est une petite ville
130
(b) Une ville est petite
(c) Quelle ville est petite ?
Règles mobilisant des ressources extérieures
Ce deuxième cas pourrait être exposé dans la section consacrée aux paraphrases.
En effet, il concerne la reformulation des mots interrogatifs en un syntagme « quel
+ NP ». Certaines questions de ce type sont déjà prises en compte par notre système
et fonctionnent grâce à une détection des entités nommées. Ainsi, les questions
portant sur le sujet et introduites par qu’est-ce qui peuvent être reformulées si elles
correspondent à un pays (121), une région (122), une ville (123) ou une institution
(124).
(121) La Belgique est magnifique → Quel pays est magnifique ?
(122) Rome est magnifique → Quelle ville est magnifique ?
(123) La Provence est magnifique → Quelle région est magnifique ?
(124) Le FMI est corrompu → Quelle institution est corrompue ?
Il en va de même pour les compléments de lieu et de temps pour lesquels des
expressions plus précises peuvent venir remplacer les pronoms où (dans quelle
ville, dans quel pays...) et quand (en quelle année, à quelle date...).
Cependant, ces quelques reformulations sont basiques et nous pensons qu’il
serait intéressant de les élargir sans modifier profondément les règles existantes.
Deux pistes, complémentaires, sont envisagées :
1. Appliquer un détecteur d’entités nommées plus performant que celui
fourni par XIP. Il faudrait que ce détecteur soit plus précis et plus fin. Par
exemple, Michael Jackson devrait pouvoir être identifié comme une per-
sonne, mais aussi comme une célébrité, un chanteur...De cette manière, les
131
questions 126, 127 et 128 pourraient être générées à partir de la proposition
125.
(125) Michael Jackson est mort le 25 juin 2009 à Los Angeles.
(126) Qui est mort le 25 juin 2009 à Los Angeles ?
(127) Quelle célébrité est morte le 25 juin 2009 à Los Angeles ?
(128) Quel chanteur est mort le 25 juin 2009 à Los Angeles ?
Outre ExtracNP (Friburger et Maurel, 2001), qui extrait les noms propres,
comme expliqué au chapitre précédent, plusieurs autres détecteurs existent
pour le français, dont Prolexbase, un « lexique relationnel multilingue de
noms propres » 1 ou OpenCalais 2, décrit dans la citation suivante :
« Using natural language processing, machine learning and other me-thods, Calais categorizes and links your document with entities (people,places, organizations, etc.), facts (person "x" works for company "y"),and events (person "z" was appointed chairman of company "y" ondate "x"). » 3
À première vue, nous ne pouvons porter notre choix sur l’un ou l’autre outil,
n’ayant pas effectué d’étude comparative complète entre eux. Cependant,
ils constituent trois possibilités à envisager pour un développement futur
de notre système.
2. Utiliser une ontologie pour remplacer chaque syntagme interrogé par un
hyperonyme, « terme dont le sens inclut celui d’un ou de plusieurs autres » 4.
Wordnet, grande base de données lexicales (Fellbaum, 1998), modélise ces
relations d’hyperonymie dans des réseaux lexicaux. Dans notre cas, il fau-
drait alors accéder à la base de données et, pour le terme à interroger, re-
chercher un hyperonyme. Le mot interrogatif serait alors remplacé par le
1. http://www.cnrtl.fr/lexiques/prolex/ (Page consultée le 8 août 2011)2. http://www.opencalais.com/3. http://viewer.opencalais.com/ (Page consultée le 5 août 2011).4. http://atilf.atilf.fr/ (Page consultée le 4 août 2011)
132
syntagme « quel(le)(s) + hyperonyme ». De cette manière, les questions 130,
131 et 132 pourraient être générées à partir de la proposition 129
(129) Un cheval a été aperçu sur l’autoroute.
(130) Qu’est-ce qui a été aperçu sur l’autoroute ?
(131) Quel animal a été aperçu sur l’autoroute ?
(132) Quel mammifère a été aperçu sur l’autoroute ?
Wordnet n’existe que pour l’anglais, mais des chercheurs de l’INRIA l’ont
adapté pour le français en créant le WOLF, WOrdnet Libre du Français (Sagot
et Fišer, 2008).
« le WOLF est une base de données lexicales dans laquelle les mots(lexèmes) sont répartis en catégories et organisés en une hiérarchie denœuds. Chaque nœud a un identifiant unique, et représente un concept,ou synset (ensemble de synonymes). Il regroupe un certain nombre delexèmes synonymes dénotant ce concept. (...) Les synsets sont préciséspar une brève définition et sont liés à d’autres synsets (...) par un liend’hypéronymie (...) Les lexèmes peuvent être simples ou composés. Lesusages métaphoriques et idiomatiques sont pris en compte. » (Sagotet al., 2008)
Avec cette méthodologie, une source d’erreur importante réside dans la
potentialité polysémique et homonymique des mots 5. En effet, certains
mots appartiennent à plusieurs domaines et peuvent donc avoir plusieurs
hyperonymes. Dès lors, on pourrait générer, à partir de la proposition 133,
les questions 134 et 135, cette dernière étant incorrecte par rapport au
contexte.
(133) Jean a mangé un avocat à midi.
5. Ces termes désignent tous deux une « correspondance entre un seul signifiant et plusieurssignifiés » (Heger, 1969 :53). Dans le cadre de ce travail, nous ne distinguons pas les deux termes,même s’ils ne sont pas tout à fait synonymes.
133
(134) Quel légume Jean a-t-il mangé à midi ?
(135) Quel magistrat Jean a-t-il mangé à midi ?
Pour résoudre ce genre de cas, un module de désambiguïsation lexicale
est nécessaire pour décider, à l’aide du contexte, si le terme avocat désigne
le légume ou le magistrat et donc choisir l’hyperonyme approprié.
8.1.2 Questions de quantité et de mesure
Pour pouvoir générer des questions portant sur une quantité (combien) ou de
mesure (quelle taille? quelle longueur?), il est également nécessaire de se baser
sur un système de reconnaissance d’entités nommées. Nous envisageons deux
étapes à la génération de ces questions, à combiner avec celles du système actuel.
1. Repérage de l’entité chiffrée si elle est étiquetée comme déterminant. Celle-
ci peut être précédée d’une préposition.(136) Il a habité pendant 3 mois à Londres.
2. Identification de l’élément nominal déterminé par l’entité repérée et gé-
nération d’une question de type « combien de + NP » sur la base des règles
existantes.(137) Il a habité pendant 3 mois à Londres. → Pendant Combiende mois a-t-il habité à Londres ?
À ces deux étapes peut s’ajouter une règle optionnelle qui fournit une refor-
mulation de la question. Pour ce faire, l’élément nominal est classé dans une
catégorie précise – temps, distance... – et une question de type « combien de +
catégorie » est générée sur la base des règles existantes. Pour classifier le terme, il
sera nécessaire de recourir à une base de données qui puisse l’identifier.(138) Il a habité pendant 3 mois [TEMPS] à Londres. → PendantCombien de temps a-t-il habité à Londres?
134
Néanmoins, dans certains cas, une question en combien de ne convient pas et
il est alors préférable de proposer une alternative. Pour la proposition 139, par
exemple, on attendrait plutôt une question du type « Quelle distance a-t-il couru
en dix minutes ? ».(139) Il a couru 3 kilomètres en dix minutes.→ *Combien de distancea-t-il couru en dix minutes?
Pour résoudre ce problème, nous proposons de créer une table de corres-
pondances entre les catégories préalablement repérées et le type d’interrogatif.
Concrètement, la syntagme « nombre + élément nominal » se verra attribuer une
catégorie, puis remplacé par l’interrogatif approprié pour formuler la question. La
difficulté majeure, et qu’il faudra résoudre, réside alors dans le choix de la catégo-
rie appropriée pour le syntagme. Le tableau 8.1 donne une première typologie,
non exhaustive, de ces correspondances.
Catégorie Tournure interrogative Exemple
Temps Combien de temps Combien de temps durent tes vacances ?Quantité Quelle quantité Quelle quantité contient ce récipient?Distance Quelle distance Quelle distance a-t-il parcourue ?Taille Combien Combien mesure Anne ?
Quelle taille Quelle taille mesure Anne ?Poids Combien Combien pèse Arthur ?
Quel poids Quel poids pèse Arthur ?Prix Combien Combien as-tu payé ?
Quel prix Quel prix as-tu payé ?
TABLEAU 8.1 – Table de correspondances pour les questions de quantité et demesure
Intégration dans le système
Le but est d’intégrer ces règles de quantité et de mesure dans les règles existantes.
Comme le montrent les exemples suivants, les syntagmes exprimant une notion
de quantité ou de mesure peuvent se retrouver en position de sujet, complément
direct ou indirect.
135
(140) 30 kilomètres ont été parcourus. → Quelle distance a été par-courue ?
(141) Il a parcouru 30 kilomètres. → Quelle distance a-t-il parcou-rue ?
(142) Il s’est arrêté de courir après 30km. → Après quelle distances’est-il arrêté de courir ?
Cela ne signifie pas que ces syntagmes remplissent nécessairement la même
fonction, mais bien que les patrons syntaxiques pour les repérer sont identiques à
ceux déjà implémentés. Dès lors, il conviendra d’ajouter des contraintes dans les
règles existantes pour repérer les entités chiffrées et de cette manière générer des
questions de quantité ou de mesure selon les modalités exposées plus haut.
8.1.3 Questions introduites par pourquoi
Comme nous le montrons au point 1.1.3, les questions introduites par pourquoi
peuvent être de trois types :
– Cause : Pourquoi a-t-elle quitté son emploi ?
– But : Pourquoi roule-t-il si vite ?
– Convention/obligation : Pourquoi doit-on dire merci ?
Dans l’optique de notre travail, les questions doivent trouver leurs réponses
dans le texte à partir duquel elles sont générées. Dès lors, il importe de définir un
patron de phrase à partir duquel il est possible de générer une question de type
pourquoi. Dans la plupart des cas, pourquoi peut être remplacé dans la phrase
de base par une proposition de but ou de cause, comme en attestent exemples
suivants, répondant tous deux à la question Pourquoi a-t-elle quitté son emploi ? :(143) Elle a quitté son emploi parce qu’elle ne gagnait pas assezd’argent.
(144) Elle a quitté son emploi pour gagner plus d’argent.
136
Empiriquement, on admet donc que, si le sens des trois types de question
relevés est sensiblement différent, les phrases à partir desquelles ces questions
sont générées obéissent à une même structure 6.
Avant de développer la règle pour générer ces questions, il convient de recenser
toutes les constructions possibles pour les propositions de but et de cause afin
qu’elle soient repérées par le système.
Selon Le Bon Usage (Grevisse et Goosse, 2007), les propositions de but peuvent
être de deux types :
– Propositions subjonctives introduites par les locutions conjonctives sui-
vantes : pour que, afin que, de peur que, de crainte que, de sorte que, de
manière à ce que, de façon à ce que.
– Propositions infinitives introduites par les locutions suivantes : pour, afin
de, de peur de, de crainte de, de manière à, de sorte à ou de façon à. Leur sujet
est le même que celui de la proposition principale.
Les propositions de cause, quant à elles, s’emploient avec l’indicatif et peuvent
être introduites par les locutions suivantes : comme, puisque, parce que, étant
donné que, vu que, du fait que, du moment que, dès lors que, d’autant que, attendu
que, étant entendu que, sous prétexte que (Grevisse et Goosse, 2007).
À partir de ces éléments, une version future de notre système pourrait facilement
inclure ce type de question, en suivant les étapes suivantes :
1. Dans une phrase, repérage d’une éventuelle proposition de cause ou de but.
6. Pour éviter toute confusion, remarquons que le contre-exemple suivant, s’il peut paraitreadéquat, ne correspond pas à une question de type pourquoi mais bien à une question introduitepar pour quoi, déjà prise en compte par notre système (ici : Pour quoi a-t-elle quitté son emploi ?) :Exemple : Elle a quitté son emploi pour ses enfants
137
Elle a quitté son emploi parce qu’elle ne gagnait pas assez d’argent.
2. Remplacement de la proposition par l’interrogatif pourquoi.
Elle a quitté son emploi pourquoi.
3. Déplacement de l’interrogatif en tête de phrase.
Pourquoi Elle a quitté son emploi.
4. Inversion sujet-verbe.
Pourquoi a-t-elle quitté son emploi ?
8.1.4 Questions introduites par comment
Nous avons vu au point 1.1.3 que les questions introduites par comment pou-
vaient être de trois types :
– Procédure : Comment faut-il écrire une lettre ?
– Structure : Comment est organisé ce pays ?
– Spécification d’un élément : Comment est cette fille ?
Contrairement aux questions en pourquoi, « les propositions répondant à la
question comment ? sont fort variées » (Grevisse et Goosse, 2007 :1494). Il est donc
très difficile de définir un patron de phrase sur lequel on puisse construire des
règles pour former ce type de question. Dès lors, nous envisageons deux cas
spécifiques :
1. Questions portant sur l’attribut du sujet ajdectival. Celles-ci sont en fait
déjà prises en considération par notre système, raison pour laquelle notre
explication est très succincte.
(145) Cette fille est jolie. → Comment est cette fille ?
138
Concrètement, le système repère l’attribut du sujet sous forme adjectivale,
le place en tête de proposition et le remplace par comment.
2. Questions sur le gérondif. Une proposition au gérondif (en + participe pré-
sent) a toujours le même sujet que la proposition principale et « équivaut
souvent à un complément adverbial (de temps, de manière, etc.) » (Grevisse
et Goosse, 2007 :1152).
(146) Il a traversé la rue en courant.
La règle que nous proposons fonctionne selon les étapes suivantes :
(a) Repérage de la proposition au gérondif.
(147) Il a traversé la rue en courant.
(b) Déplacement du terme repéré en tête de proposition principale.
(148) En courant il a traversé la rue.
(c) Remplacement du terme par l’interrogatif comment.
(149) Comment il a traversé la rue.
(d) Inversion sujet-verbe.
(150) Comment a-t-il traversé la rue ?
8.1.5 Questions sur les sigles et les acronymes
Ces questions portent sur la signification des sigles et des acronymes et sont
relativement simples à générer. Pour ce faire, il est nécessaire de repérer un sigle
ou un acronyme dont l’appellation non abrégée se situe dans l’environnement
immédiat. Pour s’assurer de la correspondance entre l’abréviation et son corres-
pondant, l’un des deux doit se trouver entre parenthèses. Pour générer la question,
139
il faut ensuite tester le caractère humain ou non humain de la dénomination com-
plète de manière à déterminer si la question sera introduite par qui ou qu’est-ce
que. Voici quatre exemples de questions générées sur les sigles et acronymes :
(151) Dominique Strauss-Kahn (DSK) a été arrêté ? → Qui est DSK ?
(152) JFK (John Fitzgerald Kennedy) a été assassiné ? → Qui est JFK ?
(153) L’Union européenne (UE) compte 27 membres? → Qu’est-ceque l’UE ?
(154) l’UCL (Université catholique de Louvain) a été créée en 1425 ?→ Qu’est-ce que l’UCL ?
Une alternative qui permet d’éviter le choix entre qui et qu’est-ce que serait de
proposer une question de type « Que signifie/représente l’abréviation X ? ».(155) Dominique Strauss-Kahn (DSK) a été arrêté ? → Que représentel’abréviation DSK ?
8.1.6 Synthèse
Les règles déjà implémentées dans notre système sont relativement faciles à
adapter pour couvrir une typologie de questions plus large que celle actuellement
utilisée. En effet, les nouvelles règles que nous proposons respectent globalement
la même architecture et seules quelques modifications sont à apporter. Pour
concrétiser notre démarche, il reste à formaliser les patrons à repérer pour chaque
nouveau type de question et à adapter les règles existantes pour que les questions
générées soient correctes. Par exemple, un problème que nous n’avons pas traité
et qui se posera certainement est celui des accords. Dans les questions en quel,
comme dans les questions de quantité et de mesure, certains termes changent de
genre et/ou de nombre avec le passage du mode déclaratif au mode interrogatif et
ces problèmes seront donc à gérer.(156) Eddy Merckx est né le 17 juin 1945.→ Quelle célébrité est néele 17 juin 1945 ?
140
(157) Il a parcouru 10 kilomètres.→ Combien de kilomètres a-t-ilparcourus ?
8.2 Génération de paraphrases sur les questions
Ce que nous présentons ici a déjà fait l’objet d’une proposition d’article (Bern-
hard et al., 2011) et a donc déjà été implémenté. Si ce passage ne constitue pas
à cet égard une perspective à strictement parler pour nos travaux, il fait suite
au développement du système présenté dans la deuxième partie de ce mémoire.
C’est pourquoi il prend place dans cette section du travail.
« Le terme « paraphrase » a été utilisé par la tradition pour désigner une pra-tique langagière spécifique : la reformulation, dans une situation discursivedonnée, d’un texte-source de départ – reformulation effectuée à des finsessentiellement pédagogiques. » (Fuchs, 1994 :3)
Bernhard et al. (2011) évoquent deux intérêts majeurs à l’utilisation de para-
phrases en génération automatique de questions :
1. Les questions sont moins proches du texte et donc plus complexes pour les
utilisateurs.
2. Les différentes formulations des questions peuvent donner un niveau de
précision plus fin à celles-ci.
Deux procédés sont envisagés pour générer des paraphrases à partir des ques-
tions :
– Variation dans les mots interrogatifs : il s’agit essentiellement de la refor-
mulation de la question de base en une question en « quel + NP », comme
nous l’avons envisagée plus haut.
141
– Nominalisation : ce procédé consiste en la formation de noms à partir d’une
mot appartenant à une autre catégorie grammaticale (Bernhard et al., 2011).
Benetti et Corminboeuf (2004) ont étudié la nominalisation déverbale, c’est-à-
dire la transformation d’une construction verbale en une construction nominale.(158) Quand a été couronné le Roi Baudouin ? → Quand a eu lieu lecouronnement du Roi Baudouin?
Pour générer automatiquement ce type de nominalisations, Bernhard et al.
(2011) proposent d’utiliser Verbaction, un lexique dans lequel les noms d’action
sont reliés à leur correspondant verbal (Hathout et al., 2002). La figure 8.2 donne
un exemple de la présentation du lexique pour la paire « abandon–abandonner » :
<couple> <verb> <lemma>abandonner</lemma> <tag>Vmn----</tag> </verb> <noun gender="masculine" number="singular"> <lemma>abandon</lemma> <tag>Ncms</tag> </noun></couple>
FIGURE 8.1 – Extrait du lexique Verbaction
Le système se base sur 13 patrons Tregex qui identifient chacun une structure
de question qui inclut un verbe d’action. Une fois qu’un patron est repéré dans la
question, une règle de nominalisation est appliquée en recourant à Verbaction.(159) Quand le roi Talal de Jordanie abdiqua-t-il ? → Quelle est ladate d’abdication du roi Talal de Jordanie ?
La plus grande difficulté réside dans le choix de la meilleure nominalisation. En
effet, certains verbes connaissent plusieurs déverbaux. tourner, par exemple, peut
être nominalisé en tournée, tour, ou encore tournage. Pour contrer ce problème,
142
une requête est formulée pour chaque possibilité et entrée dans un moteur de
recherche web. La requête comprend le terme nominalisé accompagné de son
contexte gauche et droit immédiat. La requête qui obtient le plus d’occurrences
dans le moteur de recherche est alors sélectionnée.(160) En quelle année a été tourné le film Star Wars ?
1. En quelle année a eu lieu le tournage du film Star Wars ?
2. En quelle année a eu lieu la tournée du film Star Wars ?
3. En quelle année a eu lieu le tour du film Star Wars ?
⇒ Après confrontation dans un moteur de recherche (les requêtessont indiquées en gras dans les exemples), la première question,considérée comme la plus vraisemblable, est sélectionnée.
Le système actuel, expérimental, a été évalué par des utilisateurs qui ont jugé
que 30% des questions étaient bien formées. Le tableau 8.2 catégorise les pro-
blèmes rencontrés avec leur fréquence, exprimée en pourcentage.
Catégorie Question originale Question nominalisée %
OK Quand le roi Talal de Jordanie ab-diqua-t-il ?
Quelle est la date d’abdication duroi Talal de Jordanie ?
32
Nominalisationimpossible
Quelle multinationale françaisea changé son nom pour celui degroupe Danone ?
Quelle est la multinationale dechangement de son nom pour ce-lui de groupe Danone ?
40
Question in-complète
Quand l’Australie, la Suède etla Finlande entreront-elles dansl’Union Européenne ?
Quelle est la date d’entrée del’Australie, la Suède et la Finlande?
28
Mauvaise no-minalisation
Quelle église a ordonné desfemmes prêtres en mars 1994 ?
Quelle est l’église d’ordre de desfemmes prêtres en mars 1994 ?
22
Mauvais motinterrogatif
À qui appartient le Milan AC ? Quelle est l’appartenance du Mi-lan AC ?
20
Nominalisationsuperflue
De combien d’étoiles se composenotre galaxie ?
Quelles sont les étoiles de compo-sition de notre galaxie ?
20
Verbe pronomi-nal
Dans quel pays se trouve Euskir-chen ?
Quel est le pays de trouvailled’Euskirchen ?
18
TABLEAU 8.2 – Typologie des problèmes en génération de paraphrases
À terme, il serait intéressant d’envisager d’autres procédures pour générer des
paraphrases sur les questions. Dans un article concernant les révisions locales
143
de Wikipédia (Dutrey et al., 2011), les auteurs s’intéressent à la problématique de
la reformulation. Ils en relèvent trois types, qui constituent trois pistes pour un
développement ultérieur de notre système :
1. Reformulation lexicale : il s’agit de remplacer un mot par une variante
(changement de registre langagier, traduction d’un emprunt...)(161) L’implémentation de l’algorithme → La mise en œuvre del’algorithme
2. Reformulation syntaxique : cela consiste en une modification de la struc-
ture syntaxique de la phrase (permutation d’éléments, changement de type
d’une proposition, passage de l’actif au passif...)(162) L’homme qui travaille toute la nuit → L’homme travaillanttoute la nuit
3. Reformulation sémantique : utilisation d’hyperonymes ou d’hyponymes,
jeu sur la synonymie...
(163) Le journal francophone → Le quotidien francophone
Si la reformulation syntaxique demande l’utilisation de règles complexes qui
agissent sur la structure de la question, il semblerait intéressant de développer un
module qui permette des reformulations lexicales et sémantiques de la question.
Pour ce faire, comme pour les questions en quel (voir 8.1.1), le recours à une base
de données lexicales hiérarchisée comme le Wolf (Sagot et Fišer, 2008) semble
une piste pertinente. Plus simplement, il peut être intéressant de faire appel à un
dictionnaire de synonymes standard, tel celui du CRISCO (Manguin, 2005) pour
remplacer certains mots de la question par leurs synonymes. Néanmoins, cela
nécessite d’une part de résoudre l’ambiguïté lexicale qui peut peser sur le mot
(164), et d’autre part d’évaluer l’adéquation de ce synonyme au contexte dans
lequel il s’inscrit. Dans la phrase 165, par exemple, le terme conserver n’est pas
aussi pertinent que le terme maintenir.
144
(164) J’ai mangé un avocat à midi. → *J’ai mangé un magistrat àmidi.
(165) J’ai maintenu mon rendez-vous d’aujourd’hui. → J’ai conservémon rendez-vous d’aujourd’hui.
Ce ne sont là que des pistes, des idées de réflexions à mener dans le but d’amé-
liorer notre système et de compléter le module de génération de paraphrases déjà
implémenté. Nous ne proposons aucune règle précise, ni complète, mais nous
posons les prémisses théoriques minimales sur lesquelles une version ultérieure
du système pourra se baser.
8.3 Conclusion
Dans l’optique d’améliorer notre système de génération de questions, une piste
est de proposer une variété plus large des questions générées. Notre but n’est pas
de modifier radicalement les règles déjà écrites, mais de repartir de cette base
pour la diversifier. Pour ce faire, nous envisageons deux aspects.
Le premier consiste à élargir la typologie existante, tout en proposant des ques-
tions dont la réponse reste ancrée dans la phrase. Le mode d’action reste identique
et consiste toujours en la transformation syntaxique de phrases déclaratives en
phrases interrogatives. Nous repartons donc de la classification mixte proposée
au chapitre 1 pour proposer des esquisses de règles couvrant davantage de mots
interrogatifs que ceux déjà utilisés par le système. Nous montrons que la structure
globale des règles existantes peut être reprise dans la plupart des cas et qu’il suffit
d’y modifier quelques éléments – comme le patron syntaxique nécessaire à la
formulation de la question – pour intégrer de nouveaux types de question.
145
Le deuxième aspect vise à rendre la question moins proche de la phrase de
base, principalement dans le but de la complexifier. Pour ce faire, nous propo-
sons d’envisager la reformulation de la question par le biais de la génération de
paraphrases.
Nous pensons que la prise en compte de ces deux aspects dans une nouvelle
version du système pourrait lui donner une nouvelle dimension et le rendre plus
performant.
146
CONCLUSION GÉNÉRALE
Le domaine de la génération automatique de questions, bien que déjà large-
ment traité en anglais, en est à ses balbutiements pour le français, pour lequel
les ressources sont presque inexistantes. Les systèmes actuels, développés en
anglais, fonctionnent par la transformation de phrases déclaratives en phrases
interrogatives, sur la base d’une analyse syntaxique préalable de la phrase. Ce
type d’outil permet de créer des tests et questionnaires à choix multiples, mais
aussi d’améliorer les systèmes de dialogue homme-machine ou les systèmes de
questions-réponses interactifs. L’objectif du présent travail est de combler ce vide
en français et de proposer un système de génération automatique de questions à
partir de textes en adaptant au français les systèmes existants pour l’anglais.
Pour ce faire, une étude théorique préalable était nécessaire et deux aspects
semblaient pertinents à envisager, l’un se situant à un niveau plus linguistique et
l’autre à un niveau plus informatique.
Nous avons d’abord exploré la notion de question pour dégager ses caractéris-
tiques formelles dans une optique transformationnelle, principalement à travers
trois aspects : le marquage de la question, les mots interrogatifs et l’inversion
sujet-verbe. Ces concepts sont fondamentaux dans le sens où ils constituent les
éléments de base qui définissent formellement la question. Parallèlement à cela,
il a été nécessaire d’élaborer une typologie des questions qui brasse toutes les
questions possibles en français. Sur la base de diverses catégorisations existantes,
envisageables selon deux axes (classification linguistique et classification concep-
tuelle), nous avons proposé une typologie mixte qui opère deux classifications.
La première distingue les questions selon leur mot interrogatif et, au sein de ces
catégories, une deuxième classification range les questions selon le concept qui
les sous-tend. L’intérêt de cette démarche est qu’elle offre une typologie exhaus-
tive et pertinente des questions et qu’elle permet, en fonction d’un concept, de
149
générer le mot interrogatif approprié pour la question.
Ensuite, nous avons présenté le domaine de la génération automatique de textes,
dans lequel nous avons situé celui de la génération automatique de questions,
en montrant sur quels points les deux types de systèmes se rejoignaient ou se
distinguaient. Grâce à l’étude de systèmes de génération de questions existant
pour l’anglais, nous avons pu dégager une méthodologie globale pour un tel
outil. Comme nous l’avons souligné, la procédure consiste en la transformation
de phrases déclaratives en phrases interrogatives et comporte généralement les
étapes suivantes, éventuellement couplées avec une phase de simplification de
phrases :
1. Analyse morphosyntaxique et/ou syntaxique du texte source
2. Identification du syntagme cible sur lequel portera la question
3. Déplacement du syntagme cible
4. Remplacement du syntagme cible par le mot interrogatif approprié
5. Inversion et accord sujet-verbe
6. Post-traitement de la question pour générer une forme de surface gramma-
ticale et bien formée
Une fois cette base théorique construite, nous avons présenté dans la deuxième
partie du travail l’implémentation d’un premier outil de génération automatique
de questions pour le français. Partant de la typologie exposée dans la première
partie et de la définition formelle de la question en français, nous avons repris
les méthodologies existantes pour les adapter au français. Si les étapes du dé-
veloppement sont globalement les mêmes, la structure du français impose des
contraintes nouvelles, qui ne se posent pas en anglais – système complexe pour
150
l’inversion sujet-verbe, problèmes d’accord...– et les règles doivent donc être re-
créées. L’évaluation du système que nous avons menée a montré que 41% des
questions générées par notre système étaient considérées comme parfaites par
les évaluateurs humains et que 29,5% d’entre elles ne nécessitaient qu’une petite
amélioration pour être correctes. De plus, l’ensemble des questions générées
obtient un score moyen de 2,87 sur une échelle de 1 à 4 7, ce qui est supérieur au
score de 2,5 marquant le milieu de notre échelle de valeurs.
L’évaluation a permis de rendre compte de l’imperfection du système et de déce-
ler plusieurs limites dans son implémentation. Sur cette base, nous avons exposé,
dans la troisième partie de notre travail, une série de pistes de réflexions en vue
d’améliorer notre système. D’une part, des solutions aux problèmes rencontrés
dans l’évaluation ont été proposées. D’autre part, plusieurs méthodologies ont
été décrites afin de générer des questions plus variées que celles proposées par
le système actuel. Cette partie constitue un point de départ pour les recherches
futures en génération de questions, brassant les grands défis qui se posent à court
terme dans le domaine.
Comme nous l’avons souligné tout au long de notre exposé, notre système
n’est pas parfait. Néanmoins, nous pensons qu’il constitue une première version
encourageante et qu’il mérite d’être amélioré. Ce mémoire, loin d’être un objet
clos, a pour ambition de servir de porte ouverte pour les futurs chercheurs en
génération de questions. Les bases sont jetées, mais il reste encore beaucoup
de chemin à parcourir pour faire de ce type de système un outil performant,
susceptible d’être commercialisé ou intégré dans des applications d’une plus large
envergure.
7. Le niveau de « perfection » étant à 4
151
Il reste dès lors à espérer que les recherches menées ne seront pas trop vite
oubliées et que la génération automatique de questions, à l’instar des systèmes de
questions-réponses, prendra un jour son essor et deviendra un domaine florissant
dans la littérature en traitement automatique des langues.
152
BIBLIOGRAPHIE
Anne ABEILLÉ, Lionel CLÉMENT et François TOUSSENEL : Building a Treebank
for French. In Anne ABEILLÉ, éditeur : Treebanks : building and using parsed
corpora, chapitre 10, pages 165–188. Kluwer Academic Publishers, Dordrecht,
2003.
Salah AIT-MOKHTAR, Jean-Pierre CHANOD et Claude ROUX : Robustness beyond
shallowness : incremental deep parsing. Natural Language Engineering, 8(3) :
121–144, 2002.
John L. AUSTIN : How to Do Things with Words. Harvard University Press, Cam-
bridge, 2 édition, 1999.
John BATEMAN et Michael ZOCK : Natural language generation. In Ruslan MITKOV,
éditeur : The Oxford Handbook of Computational Linguistics, pages 284–304.
Oxford University Press, New York, 2003.
Richard BEAUFORT : Application des Machines à États Finis en Synthèse de la
Parole. Sélection d’unités non uniformes et Correction orthographique. Thèse de
doctorat, Facultés Universitaires Notre-Dame de la Paix (Namur), 2008.
153
Laurence BENETTI et Gilles CORMINBOEUF : Les nominalisations des prédicats
d’action. Cahiers de linguistique française, (26) :413–435, 2004.
Delphine BERNHARD, Louis de VIRON, Véronique MORICEAU et Xavier TANNIER :
Question Generation for French : Combining parsers and paraphrasing ques-
tions. Dialogue and Discourse, 2011. Soumis.
Olivier BLANC, Matthieu CONSTANT et Patrick WATRIN : Segmentation in super-
chunks with a finite-state approach. In Proceedings of FSMNLP 2007 – Finite-
State Methods for Natural Language Processing, 2007.
Julien BRETTE et Stéphane LESCUYER : Étude du questionnement en français.
Projet scolaire. École Nationale Supérieure des Télécommunications, 2006.
Jonathan C. BROWN, Gwen A. FRISHKOFF et Maxine ESKENAZI : Automatic ques-
tion generation for vocabulary assessment. In HLT ’05 : Proceedings of the
conference on Human Language Technology and Empirical Methods in Natural
Language Processing, pages 819–826, Morristown, NJ, USA, 2005. Association
for Computational Linguistics.
Joan BUSQUETS, Laure VIEU et Nicolas ASHER : La SDRT : une approche de la
cohérence du discours dans la tradition de la sémantique dynamique. Verbum,
(23) :73–101, 2001.
Marie CANDITO, Joakim NIVRE, Pascal DENIS et Enrique HENESTROZA ANGUIANO
: Benchmarking of Statistical Dependency Parsers for French. In Coling 2010 :
Posters, pages 108–116, Beijing, China, août 2010. Coling 2010 Organizing Com-
mittee.
Patrick CHARAUDEAU et Dominique MAINGUENEAU : Dictionnaire d’analyse du
discours. Le Seuil, Paris, 2002.
154
Marcel CORI, Sophie DAVID et Jacqueline LÉON, éditeurs. TAL : Problèmes épisté-
mologiques du TAL, volume 43. mars 2003.
Hoa Trang DANG, Jimmy LIN et Diane KELLY : Overview of the TREC 2006 Question
Answering Track. In Proceedings of the Fifteenth Text REtrieval Conference (TREC
2006), 2006.
Nelly DANJOUX-FLAUX et Anne-Marie DESSAUX : L’interrogation en français :
données linguistiques et traitements transformationnels. In Jean-Claude CHE-
VALIER, éditeur : Grammaire transformationnelle : syntaxe et lexique, pages
139–231. Publications de l’université de Lille III, Lille, 1976.
Laurence DANLOS et Laurent ROUSSARIE : La génération automatique de textes.
In Jean-Marie PIERREL, éditeur : Ingéniérie des langues, pages 311–330. Hermès
Science, Paris, 2000.
Louis de VIRON, Delphine BERNHARD, Véronique MORICEAU et Xavier TANNIER
: Génération automatique de questions à partir de textes en français. In Actes
de la 18e conférence sur le Traitement Automatique des Langues Naturelles,
volume 2, pages 33–38, Montpellier, 2011.
Anne R. DIEKEMA, Ozgur YILMAZEL, Jiangping CHEN, Sarah HARWELL, Lan HE
et Elizabeth D. LIDDY : What Do You Mean? Finding Answers to Complex
Questions. In Proceedings of the AAAI Spring Symposium : New Directions in
Question Answering, 2003.
Camille DUTREY, Houda BOUAMOR, Delphine BERNHARD et Aurélien MAX : Para-
phrases et modifications locales dans l’historique des révisions de wikipédia. In
Actes de la 18e conférence sur le Traitement Automatique des Langues Naturelles,
volume 1, pages 457–468, Montpellier, 2011.
155
Cédrick FAIRON et Thomas FRANÇOIS : Introduction au Traitement Automatique
du Langage Naturel. Cours dispensé à l’Université catholique de Louvain,
septembre–décembre 2009.
Christiane FELLBAUM : Wordnet. An electronic lexical database. MIT Press, 1998.
Joseph L. FLEISS : Measuring nominal scale agreement among many raters.
Psychological Bulletin, 76(5) :378–382, november 1971.
Nathalie FRIBURGER : Reconnaissance automatique des noms propres. Application
à la classification automatique de textes journalistiques. Thèse de doctorat,
Université de Tours (LI, Laboratoire d’informatique), 2002.
Nathalie FRIBURGER : Linguistique et reconnaissance automatique des noms
propres. Meta : journal des traducteurs, 51(4) :637–650, 2006.
Nathalie FRIBURGER et Denis MAUREL : Finite-state transducer cascade to extract
proper nouns in texts. In Proceedings of 2nd Conference on Implementing and
Application of Automata (CIAA’2001), pages 115–124, Pretoria, 2001.
Catherine FUCHS : Paraphrase et énonciation. Ophrys, Paris, 1994.
Olivier GALIBERT, Gabriel ILLOUZ et Sophie ROSSET : Ritel : dialogue homme-
machine à domaine ouvert. In Actes de la 12e conférence sur le Traitement
Automatique des Langues Naturelles, Dourdan, 2005.
Donna M. GATES : Automatically generating reading comprehension look-back
strategy questions from expository texts. Mémoire de D.E.A., Carnegie Mellon
University, may 2008.
Danilo GIAMPICCOLO, Pamela FORNER, Anselmo PEÑAS, Christelle AYACHE, Dan
CRISTEA, Valentin JIJKOUN, Petya OSENOVA, Paulo ROCHA, Bogdan SACALEANU
156
et Richard SUTCLIFFE : Overview of the CLEF 2007 Multilingual Question
Answering Track. In Alessandro NARDI et Carol PETERS, éditeurs : Working
Notes for the CLEF 2007 Workshop, Budapest, Hungary, 19-21 September 2007.
Arthur C. GRAESSER : Question asking and answering. In Morton A. GERNSBACHER,
éditeur : Handbook of Psycholinguistics. Academic Press, San Diego, 1994.
Maurice GREVISSE et André GOOSSE : Le bon usage. Grammaire francaise. De
Boeck Université, Bruxelles, 14e édition, 2007.
Maurice GROSS : Grammaire transformationnelle du français : syntaxe du verbe.
Larousse, Paris, 1968.
Nabil HATHOUT, Fiammetta NAMER et Georgette DAL : An experimentational
constructional database : The MorTAL project. In Paul BOUCHER, éditeur :
Many Morphologies, pages 178–209. Cascadilla Press, 2002.
Klaus HEGER : L’analyse sémantique du signe linguistique. Langue française,
(4) :44–66, 1969.
Michael HEILMAN et Noah A. SMITH : Question Generation via Overgenera-
ting Transformations and Ranking. http://www.cs.cmu.edu/~mheilman/
papers/heilman-smith-qg-tech-report.pdf, 2009.
Michael HEILMAN et Noah A. SMITH : Extracting simplified statements for factual
question generation. In Proceedings of QG2010 : The third workshop of Question
Generation, Pittsburgh, 2010a.
Michael HEILMAN et Noah A. SMITH : Good Question! Statistical Ranking for
Question Generation. In Proceedings of NAACL/HLT, 2010b.
Francis JACQUES : L’interrogation, force illocutoire et interaction verbale. Langue
française, (52) :70–79, 1981.
157
Saidalavi KALADY, Ajeesh ELIKKOTTIL et Das RAJARSHI : Natural language question
generation using syntax and keywords. In Proceedings of QG2010 : The third
workshop of Question Generation, Pittsburgh, 2010.
Richard KAYNE : L’inversion du sujet dans les propositions interrogatives. Le
Français Moderne, (41) :10–42, 1973.
Dan KLEIN et Christopher D. MANNING : Accurate Unlexicalized Parsing. In
Proceedings of the 41st Meeting of the Association for Computational Linguistics,
pages 423–430, 2003.
Ronald W. LANGACKER : French interrogatives : a transformational description.
Language, 41(4) :587–600, october-december 1965.
Wendy G. LEHNERT : The process of Question-Answering : a computer simulation
of cognition. John Wiley & Sons Inc, 1978.
Willem J.M. LEVELT : From intention to articulation. MIT Press, Cambridge, 1993.
Stephen C. LEVINSON : Pragmatics. Cambridge University Press, Cambridge,
1983.
Roger LEVY et Andrew GALEN : Tregex and Tsurgeon : tools for querying and
manipulating tree data structures. In 5th International Conference on Language
Resources and Evaluation, 2006.
Jean-Luc MANGUIN : La dictionnairique internet : l’exemple du dictionnaire
des synonymes du CRISCO. CORELA – Cognition, Représentation, Langage,
(Numéro Spécial), 2005.
Frédéric MEUNIER, Laurence DANLOS et Vanessa COMBET : EASYTEXT : un sys-
tème opérationnel de génération de textes. In Actes de la 18e conférence sur le
158
Traitement Automatique des Langues Naturelles, volume 2, page 333, Montpel-
lier, 2011.
Ruslan MITKOV et Le An HA : Computer-aided generation of multiple-choice
tests. In Proceedings of the HLT-NAACL 2003 Workshop on Building Educational
Applications Using Natural Language Processing, pages 17 – 22, Edmonton,
Canada, 2003.
Ruslan MITKOV, Le An HA et Nikiforos KARAMANIS : A computer-aided environ-
ment for generating multiple-choice test items. Natural Language Engineering,
12(2) :177–194, 2006.
Gérard MOIGNET : Esquisse d’une théorie psycho-mécanique de la phrase inter-
rogative. Langages, (3) :49–66, 1966.
Christian MOLINIER et Françoise LEVRIER : Grammaire des adverbes : description
des formes en -ment. Librairie Droz, Paris–Genève, 2000.
Véronique MORICEAU, Xavier TANNIER et Mathieu FALCO : Une étude des ques-
tions « complexes » en question-réponse. In Actes de la 17e Conférence sur le
Traitement Automatique des Langues Naturelles, Montréal, Canada, juillet 2010.
Rodney D. NIELSEN : Question generation : Proposed challenge tasks and their
evaluation. In Workshop on the Question Generation Shared Task and Evaluation
Challenge, Arlington, 2008.
Slav PETROV, Leon BARRETT, Romain THIBAUX et Dan KLEIN : Learning accurate,
compact and interpretable tree annotation. In Proceedings of the 21st Inter-
national Conference on Computational Linguistics and 44th Annual Meeting
of the Association for Computational Linguistics, Sydney, 2006. Association for
Computational Linguistics.
159
Paul PIWEK et Svetlana STOYANCHEV : Generating Expository Dialogue from
Monologue : Motivation, Corpus and Preliminary Rules. In Proceedings of the
2010 Annual Conference of the North American Chapter of the Association for
Computational Linguistics and Human Language Technologies, pages 333–336,
Los Angeles, California, June 2010.
Jeffrey POMERANTZ : A Linguistic Analysis of Question Taxonomies. Journal of the
American Society for Information Science and Technology, 56(7) :715–728, 2005.
Claude PONTON : Génération automatique de textes : 30 ans de réalisations.
In Actes du 1er colloque francophone sur la Génération Automatique de Textes
(GAT’97), Grenoble, octobre 1997.
Ehud REITER et Robert DALE : Building applied natural language generation
systems. Natural Language Engineering, 3(1), 1997.
Ehud REITER et Robert DALE : Building Natural Language Generation Systems.
Cambridge University Press, 2000.
Martin RIEGEL, Jean-Christophe PELLAT et René RIOUL : Grammaire méthodique
du français. PUF, 2009.
William P. ROBINSON et Susan J. RACKSTRAW : A questions of answers, volume 1.
Routledge & Kegan Paul, 1972a.
William P. ROBINSON et Susan J. RACKSTRAW : A questions of answers, volume 2.
Routledge & Kegan Paul, 1972b.
Benoît SAGOT et Darja FIŠER : Construction d’un wordnet libre du français à
partir de ressources multilingues. In Actes de la 15e conférence sur le Traitement
Automatique des Langues Naturelles, Avignon, 2008.
160
Benoît SAGOT, Karën FORT et Fabienne VENANT : Extension et couplage de
ressources syntaxiques et sémantiques sur les adverbes. In 27e Colloque inter-
national sur le lexique et la grammaire, L’Aquila, 2008.
John R. SEARLE : Speech Acts : An Essay in the Philosophy of Language. Cambridge
University Press, New York, 1995.
John H. WOLFE : Automatic question generation from text - an aid to independent
study. SIGCUE Outlook, Proceedings of the SIGCSE-SIGCUE joint symposium on
Computer science education, 10(SI) :104–112, 1976.
Zhemin ZHU, Delphine BERNHARD et Iryna GUREVYCH : A Monolingual Tree-
based Translation Model for Sentence Simplification. In Proceedings of the 23rd
International Conference on Computational Linguistics (Coling 2010), pages
1353–1361, Beijing, China, août 2010. Coling 2010 Organizing Committee.
Michael ZOCK et Ruslan MITKOV : How to ask a foreigner questions without
knowing his language ? Proposal for a conceptual interface to communicate
thought. In Proceedings of the Natural Language Processing Pacific RIM Sympo-
sium, Singapore, 1991.
Michael ZOCK et Gérard SABAH : La génération automatique de textes. In Michel
FAYOL, éditeur : Production du langage. Traité des sciences cognitives, pages
263–285. Hermès/Lavoisier, Paris, 2002.
161
TABLE DES FIGURES
2.1 Architecture d’un système de génération automatique de textes
(Zock et Sabah, 2002) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.1 Regrouper les patrons avec Tregex . . . . . . . . . . . . . . . . . . . . 78
3.2 Exemple de règle de regroupement de constituants . . . . . . . . . . 81
4.1 Génération de questions sur le complément de lieu. . . . . . . . . . 90
4.2 Schéma de l’architecture du système . . . . . . . . . . . . . . . . . . 96
5.1 Score des questions générées en fonction de la longueur de la phrase
de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.2 Répartition des types de questions générées . . . . . . . . . . . . . . 108
5.3 Score moyen des questions en fonction de leur type . . . . . . . . . 109
7.1 Exemple de transducteur pour le repérage des prénoms composés . 120
8.1 Extrait du lexique Verbaction . . . . . . . . . . . . . . . . . . . . . . . 142
163
LISTE DES TABLEAUX
1.1 L’opposition questions totales - questions partielles . . . . . . . . . 22
1.2 La typologie conceptuelle de Lehnert . . . . . . . . . . . . . . . . . . 24
1.3 Les cinq catégories additionnelles de Graesser . . . . . . . . . . . . . 24
1.4 La Typologie de Zock et Mitkov . . . . . . . . . . . . . . . . . . . . . . 28
1.5 Synthèse : typologie mixte des questions . . . . . . . . . . . . . . . . 30
1.6 Interrogatifs et modifieurs . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.7 L’inversion sujet-verbe . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.1 Comparaison GAT-GAQ . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.1 Tregex : Regrouper des patrons au moyen d’opérateurs booléens . . 79
4.1 Typologie des questions . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5.1 Nombre de questions générées par corpus . . . . . . . . . . . . . . . 98
5.2 Profil des évaluateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.3 Exemples de questions générées associées à leur score majoritaire-
ment obtenu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.4 Évaluation par partie . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
165
5.6 Évaluation en fonction de la longueur de la phrase de base . . . . . 104
5.8 Évaluation par type de question générée . . . . . . . . . . . . . . . . 107
8.1 Table de correspondances pour les questions de quantité et de mesure135
8.2 Typologie des problèmes en génération de paraphrases . . . . . . . 143
166
ANNEXES
ANNEXE A
TYPOLOGIE DES RÈGLES DE SIMPLIFICATION
Nom de la méthode Explication ExempleadvAdv Rassemble sous un même syntagme deux
adverbes consécutifstrès calmement
advCoordAdv Rassemble sous un même syntagme deuxadverbes coordonnés
calmement et librement
removeAdv Supprime de l’arbre tous les syntagmesadverbiaux qui ont comme descendant unadverbe en -ment
Il avançait lentement dans la pé-nombre
removeInitAdv Si le nœud le plus à gauche de l’arbre estadverbial, il est supprimé
Alors, il partit
removeInitCoord Si le nœud le plus à gauche est uneconjonction de coordination, il est sup-primé
Mais tout est bien qui finit bien
participeToAdj Donne le label d’adjectif aux nœuds parti-cipes frères d’un nom
Le livre commandé à la librairie
adjPP Crée un syntagme adjectival à partir d’unadjectif suivi d’un syntagme préposition-nel
le livre commandé à la librairie
adjAdj Regroupe sous un même syntagme les ad-jectifs qui se suivent
la grande, majestueuse construc-tion
adjCoordAdj Regroupe sous un même syntagme les ad-jectifs coordonnés
la grande et majestueuse construc-tion
removeInitAdj Si le nœud le plus à gauche dans l’arbreest un syntagme adjectival, il est supprimé
Issu d’une famille modeste, il estmaintenant...
nounNoun Regroupe sous un même syntagme lesnoms qui se suivent
Jack l’éventreur
nounAdj Si un nœud NP et un nœud AP sont frères,on les regroupe sous un même NP
L’homme heureux
169
Nom de la méthode Explication ExempleNdeN On regroupe un NP et un PP ayant comme
préposition un « de » sous un même nœudNP
La statue de marbre
nounRelClause un NP suivi d’une Proposition relativesont rassemblés sous un nœud NP
L’arbre qui borde la route
doublePP Deux syntagmes prépositionnels dont ledeuxième a comme préposition un « de »sont réunis
à la mer du Nord
coordPP Deux syntagmes prépositionnels coordon-nées sont réunis sous un même nœud PP
Dès aujourd’hui et pour trois jours
coordNP Deux syntagmes nominaux coordonnéssont réunis sous un même nœud NP
Le lièvre et la tortue
infinitiveNoun Un infinitif et un NP consécutifs sontréunis sous le nœud infinitif
Faire des courses
infinitiveAdv Un infinitif suivi d’un adverbe sont réunissous le nœud infinitif
parler fort
infinitivePP Un infinitif suivi d’un syntagme préposi-tionnel sont réunis sous le nœud infinitif
venir de loin
infInf Deux infinitifs consécutifs sont réunissous un même nœud
faire faire
verbAndInf Un verbe suivi d’un infinitif sous réunissous le nœud verbal
Nous allons travailler
nounIV Un nom et un infinitif qui se suivent sontréunis sous le nœud nominal
Un manque à gagner
supportVerbAnd-PredicativeNoun
Un verbe support avec nom prédicatifsont réunis sous le nœud verbal
Ils font partie d’un groupe extrê-miste
removeInitPP Si le nœud le plus à gauche de l’arbre estun syntagme prépositionnel, il est sup-primé
Dans la conjoncture actuelle, cen’est pas possible
170
ANNEXE B
CORPUS D’ÉVALUATION
WIKI-SIMPLE
1. Le riz est la céréale la plus utilisée comme aliment par l’homme.– Qu’est-ce qui est la céréale la plus utilisée comme aliment par l’homme ?– Que Le riz est plus utilisée comme aliment par l’homme ?– Est-ce que Le riz est la céréale la plus utilisée comme aliment par l’homme ?
2. Cette graine contient beaucoup d’amidon, un sucre complexe apportant del’énergie à l’organisme.– Qu’est-ce qui contient beaucoup d’amidon un sucre complexe apportant
de l’énergie à l’organisme ?– Que contient Cette graine beaucoup d’amidon ?– De quoi Cette graine contient-elle beaucoup un sucre complexe apportant
de l’énergie à l’organisme ?– Est-ce que Cette graine contient beaucoup d’amidon un sucre complexe
apportant de l’énergie à l’organisme ?
3. Les locomotives peuvent avoir un moteur électrique ou diesel.– Qu’est-ce qui peut avoir un moteur électrique ou diesel ?– Est-ce que Les locomotives peuvent avoir un moteur électrique ou diesel ?
4. Le train a un moteur.– Qu’est-ce qui a un moteur ?– Qu’a Le train ?– Est-ce que Le train a un moteur ?
5. Le riz se cultive le plus souvent dans des rizières inondées d’eau.– Qu’est-ce qui se cultive le plus souvent dans des rizières inondées d’eau ?– Que se cultive Le riz souvent dans des rizières inondées d’eau ?
171
– Est-ce que Le riz se cultive le plus souvent dans des rizières inondéesd’eau ?
6. Il a des roues en fer.– Qui a des roues en fer ?– Qu’a-t-Il en fer ?– En quoi a-t-Il des roues ?– Est-ce qu’Il a des roues en fer ?
7. En France, pour permettre une meilleure fréquentation de ses trains, laSNCF a mis en service le TGV en 1981.– Qu’est-ce qui a mis en service le TGV en 1981 ?– Qu’a mis la SNCF en service en 1981 ?– En quoi la SNCF a-t-il mis le TGV en 1981 ?– Quand la SNCF a-t-il mis en service le TGV ?– En quelle année la SNCF a-t-il mis en service le TGV ?– Est-ce que la SNCF a mis en service le TGV en 1981 ?
8. Le train roule sur les rails.– Qu’est-ce qui roule sur les rails ?– Sur quoi Le train roule-t-il ?– Est-ce que Le train roule sur les rails?
9. Le riz blanc apporte environ 330 Kcal pour 100 grammes de grain.– Qu’est-ce qui apporte environ 330 Kcal pour 100 grammes de grain?– Qu’apporte Le riz blanc environ pour 100 grammes de grain ?– Pour quoi Le riz blanc apporte environ 330 Kcal ?– Est-ce que Le riz blanc apporte environ 330 Kcal pour 100 grammes de
grain?
10. La locomotive qui tire le train a été inventée en 1804.– Qui est inventée en 1804 ?– Quand a-La locomotive qui tire été inventée ?– En quelle année a-La locomotive qui tire été inventée ?– Est-ce que le train a été inventée en 1804 ?
WIKI
1. Il désigne l’ensemble des plantes du genre Oryza, parmi lesquelles deuxespèces sont cultivées : Oryza sativa et Oryza glaberrima, ou riz de Casa-mance.– Qui désigne l’ensemble des plantes du genre Oryza ou riz de Casamance ?– Que désigne-t-Il ?– Est-ce qu’Il désigne l’ensemble des plantes du genre Oryza ou riz de
Casamance ?
172
2. Si tous les éléments du train sont motorisés, le train est une rame automo-trice.– Si qu’est-ce qui est une rame automotrice ?– Si que tous les éléments du train sont-ils motorisés est une rame automo-
trice ?– Est-ce que le train est une rame automotrice ?
3. En fonction des cultivateurs, on obtient du riz blanc (Chine, Inde, France),du riz cargo (Chine), rouge Madagascar, jaune (Iran), violet (Laos), du rizgluant (Chine, Indonésie, Laos). . . consommé en grains, en pâte, en soupe,ou en dessert (riz au lait) par exemple.
4. Un train est un véhicule guidé circulant sur des rails.– Qu’est-ce qui est un véhicule guidé circulant sur des rails?– Qu’Un train est-il ?– Est-ce qu’Un train est un véhicule guidé circulant sur des rails?
5. La riziculture pluviale, sans inondation du champ, se distingue de la rizi-culture inondée où le niveau d’eau n’est pas contrôlé, et de la rizicultureirriguée où la présence d’eau et son niveau sont contrôlés par le cultivateur.– La riziculture pluviale et de la riziculture irriguée où qu’est-ce qui est
contrôlé par le cultivateur ?– La riziculture pluviale et de la riziculture irriguée où par quoi la présence
d’eau et son niveau sont-il contrôlés?– Est-ce que la présence d’eau et son niveau sont contrôlés par le cultiva-
teur ?
6. Un train est composé de plusieurs voitures (pour transporter des personnes)et/ou de plusieurs wagons (pour transporter des marchandises), et peutêtre tracté par une locomotive.– Qu’est-ce qui est composé de plusieurs voitures et peut être tracté par
une locomotive ?– De quoi Un train est-il composé et peut être tracté par une locomotive ?– Est-ce qu’Un train est composé de plusieurs voitures et peut être tracté
par une locomotive ?
7. Un champ cultivé en riz est nommé rizière.– Qu’est-ce qui est nommé rizière ?– Est-ce qu’Un champ cultivé en riz est nommé rizière ?
8. C’est la première céréale mondiale pour l’alimentation humaine, la deuxièmeaprès le maïs pour le tonnage récolté.– Qui est la première céréale mondiale pour l’alimentation humaine la
deuxième après le maïs pour le tonnage récolté ?– Qu’est-ce après le maïs pour le tonnage récolté ?
173
– Après quoi est-ce la première céréale mondiale pour l’alimentation hu-maine la deuxième pour le tonnage récolté ?
– Est-ce que C’est la première céréale mondiale pour l’alimentation hu-maine la deuxième après le maïs pour le tonnage récolté ?
9. Bien avant l’invention de la voie ferrée, on appelait « train » un convoi debateaux solidaires les uns des autres, pour mettre en commun les équipageset l’énergie du vent.
10. D’autres modes de traction marginaux ont été (et sont parfois encore) utili-sés : animaux (chevaux, bœufs), câbles, cordes et cabestans, gravité, pneu-matique, turbines, etc.
PRESSE
1. Les expérimentations sur les animaux vont être très strictement encadréeset limitées en Europe, et celles sur les grands singes interdites, après le votehier par le Parlement européen d’un texte sur la protection animale.– Qu’est-ce qui sur les animaux va être très encadrées et limitées en Europe
après le vote hier par le Parlement européen d’un texte sur la protectionanimale ?
– Où Les expérimentations sur les animaux vont être très encadrées-elleset limitées après le vote hier par le Parlement européen d’un texte sur laprotection animale ?
2. Le but de ces internats est d’accueillir des collégiens, lycéens et étudiants«motivés» venant «de milieux modestes ou défavorisés» et qui «ne disposentpas de conditions matérielles favorables» chez eux pour étudier.– Qu’est-ce qui est d’accueillir des collégiens lycéens et étudiants motivés
venant de milieux modestes ou dé favorisés et qui ne disposent pas deconditions matérielles favorables chez eux pour étudier ?
– Que Le but de ces internats est-il d’accueillir des collégiens et étudiantsde milieux modestes ou et qui ne disposent pas de conditions matérielleschez eux pour étudier ?
– Est-ce que Le but de ces internats est d’accueillir des collégiens lycéenset étudiants motivés venant de milieux modestes ou dé favorisés et quidisposent de conditions matérielles favorables chez eux pour étudier ?
3. L’internat d’excellence de Marly-Le-Roy accueille 139 élèves allant de lacinquième à la première (76 collégiens et 63 lycéens).– Qu’est-ce qui - Le - Roy accueille 139 élèves allant de la cinquième à la
première ?– Qu’accueille L’internat d’excellence de Marly ?– Est-ce que Roy accueille 139 élèves allant de la cinquième à la première ?
174
4. Le poste de commandement de la SNCF a aussitôt stoppé la circulation destrains entre Rouen et Le Havre.– Qu’est-ce qui a aussitôt stoppé la circulation des trains entre Rouen et Le
Havre ?– Où Le poste de commandement de la SNCF a-t-il aussitôt stoppé la circu-
lation des trains et Le Havre ?– Dans quelle ville Le poste de commandement de la SNCF a-t-il aussitôt
stoppé la circulation des trains et Le Havre ?– Est-ce que Le poste de commandement de la SNCF a aussitôt stoppé la
circulation des trains entre Rouen et Le Havre ?
5. En tout, 11 établissements de ce type ont ouvert en cette rentrée.
6. L’observatoire volcanologique du Piton de la Fournaise enregistre depuis le14 août une augmentation lente mais continue du nombre de séismes.– Qu’est-ce qui enregistre depuis le 14 août une augmentation lente mais
continue du nombre de séismes?– Qu’enregistre L’observatoire volcanologique du Piton de la Fournaise
depuis le 14 août ?– Depuis quand L’observatoire volcanologique du Piton de la Fournaise
enregistre-t-il une augmentation lente mais continue du nombre deséismes ?
– Depuis quel mois L’observatoire volcanologique du Piton de la Four-naise enregistre-t-il une augmentation lente mais continue du nombrede séismes ?
– Est-ce que L’observatoire volcanologique du Piton de la Fournaise enre-gistre depuis le 14 août une augmentation lente mais continue du nombrede séismes ?
7. Les passagers blessés, dont un Britannique, se trouvaient à bord du traindont les deux premières voitures ont déraillé, sans se renverser, après avoirpercuté le camion, qui avait glissé sur la voie après une sortie de route, prèsde Lambrecht, en Rhénanie-Palatinat (ouest de l’Allemagne).
8. A ce stade, l’accès à l’enclos du Piton de la Fournaise demeure accessible aupublic.– Qu’est-ce qui à l’enclos du Piton de la Fournaise demeure accessible au
public?– Comment demeure l’accès ?
9. Les expériences sur des grands singes tels que les chimpanzés, les gorilles etles orangs-outans vont être interdites.– Les expériences sur des grands singes tels que qu’est-ce qui les gorilles et
les orangs-outans va être interdites ?– Est-ce que les gorilles et les orangs-outans vont être interdites ?
175
10. Désormais, l’utilisation d’animaux ne pourra être réalisée que pour lesexpériences ayant pour but de faire avancer la recherche sur l’homme, lesanimaux et les maladies (cancers, scléroses multiples, maladie d’Alzheimeret de Parkinson).
176
