La reconnaissance des entités nommées - Jean Veronis - SEO Campus 2010

jvTech • Jean Véronis Technologies

Entités nomméesJean Véronis

Seo Campus 2010

C’est quoi ?

jvTech • Jean Véronis Technologies

Extraction d’information

C'est ironique,quand on est un artiste chinois,

d'être censuré en France pour subversion politique. Critiquer Hu Jintao à Pékin, c'est possible. Mais Nicolas Sarkozy à Paris, ça non, c'est interdit. L'artiste Siu Lan Ko, 33 ans, en a fait les frais hier matin. Son installation a été décrochée en toute hâte de la façade des Beaux-Arts de Paris à la demande de son directeur Henry-Claude Cousseau… Télérama – 11 février 2010

En France, il est interdit d’accrocher les mots

“travailler”, “gagner” “plus” et “moins”, sur une

façade.

jvTech • Jean Véronis Technologies

~Noms propres

• France • Hu Jintao• Pékin• Nicolas Sarkozy• Paris• Siu Lan Ko• Beaux-Arts• Henry-Claude Cousseau

Personnes, lieux, marques, entreprises, organismes, etc.

jvTech • Jean Véronis Technologies

Mais pas seulement…

Pourcentages, dates, montant monétaires, etc.

La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros.

jvTech • Jean Véronis Technologies

Tâche mal définie

Pourquoi entités « nommées » si on ne se limite pas aux noms propres ?

Où s’arrête-t-on ?

Dépend fortement de l’application

La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros.

jvTech • Jean Véronis Technologies

A quoi ça sert ?

jvTech • Jean Véronis Technologies

Buzz

jvTech • Jean Véronis Technologies

Navigation

SEO

Exemples

jvTech • Jean Véronis Technologies

Veille, suivi de tendances

propos sur l’Auvergnat…

polémiquePolanski

Brice Hortefeux ~ Frédéric Mitterand

marques

jvTech • Jean Véronis Technologies

épisode de la F1

Renault ~Peugeot

e-reputation

jvTech • Jean Véronis Technologies

vague de suicides

France Télécom ~ Suicides

Moteurs de recherche

actu

jvTech • Jean Véronis Technologies

Moteurs de recherche

pas d’actu

jvTech • Jean Véronis Technologies

Nombreuses autres applications

jvTech • Jean Véronis Technologies

Traduction automatique

Guillaume Portes a conçu le logiciel Fenêtres

Nombreuses autres applications

Classification de documents

« Text mining »

Constitution de bases de faits

etc.

jvTech • Jean Véronis Technologies

Exemple:

siloBreaker

jvTech • Jean Véronis Technologies

jvTech • Jean Véronis Technologies

jvTech • Jean Véronis Technologies

ClearForest Gnosis — projet OpenCalais

jvTech • Jean Véronis Technologies

Comment ça marche ?

jvTech • Jean Véronis Technologies

Deux problèmes

jvTech • Jean Véronis Technologies

détection

interprétation

...bla bla… Orange …bla bla…

…

Détection

Le problème semble simple

Détection de chaînes dans un texte Exemple :

Oui, mais…

jvTech • Jean Véronis Technologies

PARIS - Un bras de fer s'est engagé entre une artiste chinoise auteur d'une oeuvre faisant référence à un slogan du président Nicolas Sarkozy et l'école des Beaux-Arts de Paris, accusée de "censure".

Base de données

Sources Wikipedia/DBPedia Fichiers d’entreprises Base Geonames etc.

Aucune base n’est exhaustive variabilité infinie entités nouvelles

Variabilité

Personnes :

Ted Kennedy

Edward Kennedy

Edward M. Kennedy

Edward Moore Kennedy

Edward Moore Kennedy Sr.

Edward Moore "Ted" Kennedy

« Ted »

jvTech • Jean Véronis Technologies

Variabilité

Sociétés :

Air France

Société Air France (nom officiel)

Air France-KLM (groupe)

AF (bourse)

AFR (code aviation civile)

jvTech • Jean Véronis Technologies

Erreurs orthographiques

jvTech • Jean Véronis Technologies

http://labs.google.com/britney.html

488941 britney spears 40134 brittany spears 36315 brittney spears 24342 britany spears 7331 britny spears 6633 briteny spears 2696 britteny spears 1807 briney spears 1635 brittny spears 1479 brintey spears 1479 britanny spears 1338 britiny spears 1211 britnet spears 1096 britiney spears 991 britaney spears 991 britnay spears 811 brithney spears 811 brtiney spears 664 birtney spears 664 brintney spears 664 briteney spears

601 bitney spears 601 brinty spears 544 brittaney spears 544 brittnay spears 364 britey spears 364 brittiny spears 329 brtney spears 269 bretney spears 269 britneys spears 244 britne spears 244 brytney spears 220 breatney spears 220 britiany spears 199 britnney spears 163 britnry spears 147 breatny spears 147 brittiney spears 147 britty spears 147 brotney spears 147 brutney spears 133 britteney spears

121 bittany spears 121 bridney spears 121 britainy spears 121 britmey spears 109 brietney spears 109 brithny spears 109 britni spears 109 brittant spears

…

Pas toujours exceptionnel : Jean-Pierre Pernault ? Jean-Pierre Pernaut ?

jvTech • Jean Véronis Technologies

Multilinguisme

Exemples

Benoît XVI (fr) Benedict XVI (en) Benedikt XVI (de) Benedetto XVI (it) Benedicto XVI (es)

Londres ~ London

jvTech • Jean Véronis Technologies

Translittérations

Pékin Beijing

Mouhammar Mohammar Mouammar Moammar Muammar Mu’ammar …

Kadafi Algathafi al-Kadhafi al-Gaddafi Al Qadafi Gueddafi El-Gueddafi …

X

jvTech • Jean Véronis Technologies

Entités inconnues

Exemple : actualité inconnu dans Wikipedia

jvTech • Jean Véronis Technologies

12 février 2010

Heuristiques

Typographie : Majuscule, mais…

variantes l’Ecole des Beaux-Arts (le Parisien) l’école des Beaux-Arts (l’Express) l’Ecole des beaux-arts (le Monde)

noms composés Henri de la Ville de Mirmont Hôtel de Ville de Mirmont Jean Baptiste de la Croix de Chevrières de Saint –Vallier Jean-Baptiste Belley de Saint-Domingue

autres langues allemand (majuscule sur tous les noms) arabe, chinois, etc. (pas de majuscules)

jvTech • Jean Véronis Technologies

Heuristiques

Base patronymes et prénoms connus, mais :

Nombreuses ambiguïtés Prénoms: April, Art, Earl, France, Israel, Logan, Noël, Renault, etc.

l’œuvre de Noël de Règemorte le marché de Noël de Montbéliard

Patronymes: Charpentier, Mer, Vaillant

ministre de l'Economie Francis Mer

Charpentier fut remarqué et apprécié par Louis XIV

Charpentier au talent prometteur, ce compagnon…

Inconnus Barack

jvTech • Jean Véronis Technologies

Heuristiques

Statistiques (contexte)

Exemples :

le photographe italien Pietro Mastrurzo a remportél’Italien Pietro Mastrurzo a reçu

le Français Alexis Contin s’est classéle patineur de vitesse français Alexis Contin

jvTech • Jean Véronis Technologies

Interprétation

Deux problèmes liés :

Désambiguïsation Orange, Total, Opium, etc.

Catégorisation Personne Entreprise Toponyme etc.

jvTech • Jean Véronis Technologies

page d’homonymieWikipedia :

Orange

jvTech • Jean Véronis Technologies

Très difficile

Noms communs/marques La majuscule ne suffit pas

Personnes/marques

etc.

jvTech • Jean Véronis Technologies

Yves Saint Laurent lance Opium

Shangaï : Opium, jeux, prostitutionla turbulente histoire de la Chine depuis la Guerre de l'Opium

Alain Chamfort met Yves Saint Laurent en musiqueil rend hommage à Yves Saint Laurent

Yves Saint Laurent lance une édition collector du parfum Elle

Typologie

Personnes, lieux, et…..?

Difficultés pour l’humain :

Orange = marque / entreprise ?

iPhone = produit / marque ?

Dépend de l’application

jvTech • Jean Véronis Technologies

classification de Sekine

tant vont les fleuves à la meret la mer n’est jamais remplie…

jvTech • Jean Véronis Technologies