Vers un nouvel empirisme:l’ancien et le nouvel

empirismeJohn Goldsmith

Université de ChicagoCNRS MoDyCo

L’ancien empirisme etl’ancien rationalisme

Le nouvel empirisme

Definir le corpus (les donnés).Laisser à la Nature de la marge pour

qu’Elle puisse nous parler.Trouver l’hypothèse la plus probable,

étant donnés les faits que la Nature nous a octroyés.

Conceptuellement similaire à la grammaire générative classique, mais supérieure de deux façons.

Superieur de deux façons?

• La notion de “confirmation de la grammaire par les faits” devient explicitée pour la premiere fois.

• Il n’est pas nécessaire d’éxpliciter des contraintes sur grammaires possibles: la complexité algorithmique fait tout.

Feuille de route

1. Une analyse probabiliste, du point de vue formelle

2. Le nouvel empirisme: • Trouver l’hypothèse la plus probable,

étant donnés les faits: maximiser pr (H|D)

3. Minimiser -1 * log pr (H|D)4. Approches bayésiennes: complexité

du modèle (grammaire) et probabilité des données

6. Pourquoi “bayésiennes”? Règle de Bayes

7. Diviser le problème en deux parties:– le degré de confirmation de la

grammaire par les faits, et– la complexité de la grammaire

8. Conclusions

1. Analyse probabiliste

Une analyse probabiliste assigne un nombre à chaque représentation possible;

Ce sont des probabilités.La somme des probabilités de toutes

les représentations doit égaler 1.0 . Nous voulons que la probabilité qui est

assignée à la réalité soit grande.

2. Le nouvel empirisme

Une expérience scientifique doit offrir assez de marge à la Nature pour nous surprendre. C'est-à-dire, une étude qui confirme ce que l’on croie déjà était mal conçue ; elle nous enseigne peu de choses. Des méthodes quantitatives nous permettent de comprendre et de mesurer la Nature. La performance de nos modèles sera maximale si nous écoutons la Nature.

2 bis. Le nouvel empirisme

Trouver l’hypothèse la plus probable, étant données les observations: )|(max DHpr

Prendre en consideration la probabilité apriori des hypothèses = complexités des modèles

4. Pourquoi “bayésiennes”?

• Regle de Bayes• Elle n’est qu’une manipulation de la

définition de la probabilité conditionnelle.

La règle de Bayes

)(

)()|()|(

Dpr

HprHDprDHpr

D = DonnéesH = Hypothèse

La règle de Bayes

)(

)()|()|(

Dpr

HprHDprDHpr

D = DonnéesH = Hypothèse

)()|()()|( HprHDprDprDHpr

)(

)()|()|(

Dpr

HprHDprDHpr

5. Equivalence mathématique

“Maximiser pr (H|D)” équivaut“Minimiser -1 * log pr (H|D)”

)()()|(log

)(

)()|(log)|(log

DprHprHDpr

Dpr

HprHDprDHpr

Donc: “Minimiser –log pr(D|H) – log pr(H) + log pr(D)”

D = DonnéesH = Hypothèse

A retenir:Minimiser

–log pr(D|H) – log pr(H) – log pr(D)D = DonnéesH = Hypothèse

6. Règle de Bayes divise le problème en deux parties

Minimiser –log pr(D|H) – log pr(H) – log pr(D)

D = DonnéesH = Hypothèse

6. Règle de Bayes divise le problème en deux parties

Minimiser –log pr(D|H) – log pr(H) – log pr(D)

D = DonnéesH = Hypothèse

quantité positive:

plus elle est petite, plus la probabilité de D, étant donné H, est grande.

6. Règle de Bayes divise le problème en deux parties

Minimiser –log pr(D|H) – log pr(H) – log pr(D)

D = DonnéesH = Hypothèse

quantité positive:

plus elle est petite, plus la probabilité de D, étant donné H, est grande.

“longueur optimale de D compressé par

H”

6. Règle de Bayes divise le problème en deux parties

Minimiser –log pr(D|H) – log pr(H) – log pr(D)

D = DonnéesH = Hypothèse

quantité positive:

plus elle est petite, plus la probabilité de D, étant donné H, est grande.

degré inverse de

confirmation de la

grammaire H par données D

Chomsky Language and Mind

•  A third task is that of determining just what it means for a hypothesis about the generative grammar of a language to be “consistent” with the data of sense. Notice that it is a great oversimplification to suppose that a child must discover a generative grammar that accounts for all the linguistic data that has been presented to him and that “projects” such data to an infinite range of potential sound-meaning relations….

Chomsky Language and Mind

• The task, then, is to study what we might think of as the problem of “confirmation”—in this context, the problem of what relation must hold between a potential grammar and a set of data for this grammar to be confirmed as the actual theory of the language in question.

Si trois conditions sont satisfaites, cette mesure M est équivalente à une probabilité:

• La mesure est toujours positive;• Plus la mesure est grande, moins

les données D appuyent H;• Si un corpus C contient 2 phrases,

P1 et P2, M(C) = M(P1) + M(P2)

Supposons qu’une telle mesure M existe…

6 (rappel): Règle de Bayes divise le problème en deux

partiesMinimiser

–log pr(D|H) – log pr(H) – log pr(D)

D = DonnéesH = Hypothèse

quantité positive:

plus elle est petite, plus la probabilité de D, étant H, est

grande.

Comment mesurer la probabilité

d’une grammaire

?

Complexité algorithmique

On mesure la probabilité d’un algorithme par son complexité algorithmique.

C’est un fait non-trivial que cela défini une probabilité.

)(2

1Hlongueur

7 : Règle de Bayes divise le problème en deux parties

Minimiser –log pr(D|H) – log pr(H) – log pr(D)

D = DonnéesH = Hypothèse

degré inverse de

confirmation de la

grammaire H par données

D

)(2

1Hlongueur

(quantité qui estconstant, une foisles données sont choisies:donc, qui ne varie pas)

7 : En somme

Minimiser la somme de:

la mesure probabiliste

de la grammaire

basée sur les données

la complexié algorithmique de l’analyse+

7. Conclusions

Un nouvel empirisme:1. valorise les recherches empiriques et

les bases de données;2. donne une base théorique pour la

notion de complexité d’une grammaire;3. sans recours à une grammaire innée,

mais avec recours à une grammaire vraiment universelle;

4. donne une base théorique qui explique et explicite la relation entre une grammaire et les données qu’elle engendre.

Fin