39
jvTech • Jean Véronis Technologies Entités nommées Jean Véronis Seo Campus 2010

La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Embed Size (px)

DESCRIPTION

La reconnaissance des entités nommées et l'extraction de donnéesAvec Jean Veronis Enseignant Chercheur à l'Université de Provence. Spécialiste du Traitement Automatisé du Langage (TAL) et de l'informatique appliquée à la linguistique. http://www.seo-campus.org/programme/samedi

Citation preview

Page 1: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

jvTech • Jean Véronis Technologies

Entités nomméesJean Véronis

Seo Campus 2010

Page 2: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

C’est quoi ?

jvTech • Jean Véronis Technologies

Page 3: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Extraction d’information

C'est ironique,quand on est un artiste chinois,

d'être censuré en France pour subversion politique. Critiquer Hu Jintao à Pékin, c'est possible. Mais Nicolas Sarkozy à Paris, ça non, c'est interdit. L'artiste Siu Lan Ko, 33 ans, en a fait les frais hier matin. Son installation a été décrochée en toute hâte de la façade des Beaux-Arts de Paris à la demande de son directeur Henry-Claude Cousseau… Télérama – 11 février 2010

En France, il est interdit d’accrocher les mots

“travailler”, “gagner” “plus” et “moins”, sur une

façade.

jvTech • Jean Véronis Technologies

Page 4: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

~Noms propres

• France • Hu Jintao• Pékin• Nicolas Sarkozy• Paris• Siu Lan Ko• Beaux-Arts• Henry-Claude Cousseau

Personnes, lieux, marques, entreprises, organismes, etc.

jvTech • Jean Véronis Technologies

Page 5: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Mais pas seulement…

Pourcentages, dates, montant monétaires, etc.

La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros.

jvTech • Jean Véronis Technologies

Page 6: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Tâche mal définie

Pourquoi entités « nommées » si on ne se limite pas aux noms propres ?

Où s’arrête-t-on ?

Dépend fortement de l’application

La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros.

jvTech • Jean Véronis Technologies

Page 7: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

A quoi ça sert ?

jvTech • Jean Véronis Technologies

Page 8: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Buzz

jvTech • Jean Véronis Technologies

Navigation

SEO

Page 9: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Exemples

jvTech • Jean Véronis Technologies

Veille, suivi de tendances

propos sur l’Auvergnat…

polémiquePolanski

Brice Hortefeux ~ Frédéric Mitterand

Page 10: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

marques

jvTech • Jean Véronis Technologies

épisode de la F1

Renault ~Peugeot

Page 11: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

e-reputation

jvTech • Jean Véronis Technologies

vague de suicides

France Télécom ~ Suicides

Page 12: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Moteurs de recherche

actu

jvTech • Jean Véronis Technologies

Page 13: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Moteurs de recherche

pas d’actu

jvTech • Jean Véronis Technologies

Page 14: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Nombreuses autres applications

jvTech • Jean Véronis Technologies

Traduction automatique

Guillaume Portes a conçu le logiciel Fenêtres

Page 15: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Nombreuses autres applications

Classification de documents

« Text mining »

Constitution de bases de faits

etc.

jvTech • Jean Véronis Technologies

Page 16: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Exemple:

siloBreaker

jvTech • Jean Véronis Technologies

Page 17: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

jvTech • Jean Véronis Technologies

Page 18: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

jvTech • Jean Véronis Technologies

Page 19: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

ClearForest Gnosis — projet OpenCalais

jvTech • Jean Véronis Technologies

Page 20: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Comment ça marche ?

jvTech • Jean Véronis Technologies

Page 21: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Deux problèmes

jvTech • Jean Véronis Technologies

détection

interprétation

...bla bla… Orange …bla bla…

Page 22: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Détection

Le problème semble simple

Détection de chaînes dans un texte Exemple :

Oui, mais…

jvTech • Jean Véronis Technologies

PARIS - Un bras de fer s'est engagé entre une artiste chinoise auteur d'une oeuvre faisant référence à un slogan du président Nicolas Sarkozy et l'école des Beaux-Arts de Paris, accusée de "censure".

Page 23: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Base de données

Sources Wikipedia/DBPedia Fichiers d’entreprises Base Geonames etc.

Aucune base n’est exhaustive variabilité infinie entités nouvelles

Page 24: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Variabilité

Personnes :

Ted Kennedy

Edward Kennedy

Edward M. Kennedy

Edward Moore Kennedy

Edward Moore Kennedy Sr.

Edward Moore "Ted" Kennedy

« Ted »

jvTech • Jean Véronis Technologies

Page 25: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Variabilité

Sociétés :

Air France

Société Air France (nom officiel)

Air France-KLM (groupe)

AF (bourse)

AFR (code aviation civile)

jvTech • Jean Véronis Technologies

Page 26: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Erreurs orthographiques

jvTech • Jean Véronis Technologies

http://labs.google.com/britney.html

488941 britney spears 40134 brittany spears 36315 brittney spears 24342 britany spears 7331 britny spears 6633 briteny spears 2696 britteny spears 1807 briney spears 1635 brittny spears 1479 brintey spears 1479 britanny spears 1338 britiny spears 1211 britnet spears 1096 britiney spears 991 britaney spears 991 britnay spears 811 brithney spears 811 brtiney spears 664 birtney spears 664 brintney spears 664 briteney spears

601 bitney spears 601 brinty spears 544 brittaney spears 544 brittnay spears 364 britey spears 364 brittiny spears 329 brtney spears 269 bretney spears 269 britneys spears 244 britne spears 244 brytney spears 220 breatney spears 220 britiany spears 199 britnney spears 163 britnry spears 147 breatny spears 147 brittiney spears 147 britty spears 147 brotney spears 147 brutney spears 133 britteney spears

121 bittany spears 121 bridney spears 121 britainy spears 121 britmey spears 109 brietney spears 109 brithny spears 109 britni spears 109 brittant spears

Page 27: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Pas toujours exceptionnel : Jean-Pierre Pernault ? Jean-Pierre Pernaut ?

jvTech • Jean Véronis Technologies

Page 28: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Multilinguisme

Exemples

Benoît XVI (fr) Benedict XVI (en) Benedikt XVI (de) Benedetto XVI (it) Benedicto XVI (es)

Londres ~ London

jvTech • Jean Véronis Technologies

Page 29: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Translittérations

Pékin Beijing

Mouhammar Mohammar Mouammar Moammar Muammar Mu’ammar …

Kadafi Algathafi al-Kadhafi al-Gaddafi Al Qadafi Gueddafi El-Gueddafi …

X

jvTech • Jean Véronis Technologies

Page 30: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Entités inconnues

Exemple : actualité inconnu dans Wikipedia

jvTech • Jean Véronis Technologies

12 février 2010

Page 31: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Heuristiques

Typographie : Majuscule, mais…

variantes l’Ecole des Beaux-Arts (le Parisien) l’école des Beaux-Arts (l’Express) l’Ecole des beaux-arts (le Monde)

noms composés Henri de la Ville de Mirmont Hôtel de Ville de Mirmont Jean Baptiste de la Croix de Chevrières de Saint –Vallier Jean-Baptiste Belley de Saint-Domingue

autres langues allemand (majuscule sur tous les noms) arabe, chinois, etc. (pas de majuscules)

jvTech • Jean Véronis Technologies

Page 32: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Heuristiques

Base patronymes et prénoms connus, mais :

Nombreuses ambiguïtés Prénoms: April, Art, Earl, France, Israel, Logan, Noël, Renault, etc.

l’œuvre de Noël de Règemorte le marché de Noël de Montbéliard

Patronymes: Charpentier, Mer, Vaillant

ministre de l'Economie Francis Mer

Charpentier fut remarqué et apprécié par Louis XIV

Charpentier au talent prometteur, ce compagnon…

Inconnus Barack

jvTech • Jean Véronis Technologies

Page 33: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Heuristiques

Statistiques (contexte)

Exemples :

le photographe italien Pietro Mastrurzo a remportél’Italien Pietro Mastrurzo a reçu

le Français Alexis Contin s’est classéle patineur de vitesse français Alexis Contin

jvTech • Jean Véronis Technologies

Page 34: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Interprétation

Deux problèmes liés :

Désambiguïsation Orange, Total, Opium, etc.

Catégorisation Personne Entreprise Toponyme etc.

jvTech • Jean Véronis Technologies

Page 35: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

page d’homonymieWikipedia :

Orange

jvTech • Jean Véronis Technologies

Page 36: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Très difficile

Noms communs/marques La majuscule ne suffit pas

Personnes/marques

etc.

jvTech • Jean Véronis Technologies

Yves Saint Laurent lance Opium

Shangaï : Opium, jeux, prostitutionla turbulente histoire de la Chine depuis la Guerre de l'Opium

Alain Chamfort met Yves Saint Laurent en musiqueil rend hommage à Yves Saint Laurent

Yves Saint Laurent lance une édition collector du parfum Elle

Page 37: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

Typologie

Personnes, lieux, et…..?

Difficultés pour l’humain :

Orange = marque / entreprise ?

iPhone = produit / marque ?

Dépend de l’application

jvTech • Jean Véronis Technologies

classification de Sekine

Page 38: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010
Page 39: La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

tant vont les fleuves à la meret la mer n’est jamais remplie…

jvTech • Jean Véronis Technologies