1

Trituration base Wikipédia – Semiosys – Elie Naulleau - 15/03/05 Objectif : visualiser le réseau des catégories référencées par les pages Wikipédia Etape 1 Créer une table fullpage link qui décrit les pages liées. La table Wikipédia d'origine pagelinks fait cela mais présente l'inconvénient suivant: la page cible est référencée par son titre, plutôt que par son identifiant unique, ce qui est peut pour les traitements que nous souhaitons effectuer par la suite. // Création de la table CREATE TABLE fullpagelink (source_page int(8) unsigned NOT NULL ,target_page int(8) unsigned NOT NULL , namespace int(11) NOT NULL default '0', KEY sourcepage (source_page), KEY targetpage (target_page)); // Peuplement de la table INSERT INTO fullpagelink SELECT pagelinks.pl_from as source, page_id as cible, pagelinks.pl_namespace as nspace FROM page, pagelinks WHERE page.page_namespace=pagelinks.pl_namespace AND page.page_title=pagelinks.pl_title Petite vérification : SELECT count(*) FROM pagelinks 9 875 458 SELECT count(*) FROM fullpagelink 8 563 481 Constat : 1 311 977 liens inter-pages ont disparu lors de cette opération. Explication : il existe des pages cibles qui n'existent pas dans la base, qui restent à créer : en effet il est possible d'établir un lien sur une page encore non existante. (On pourrait si nécessaire mettre en évidence quelles sont ces pages fantômes).

2

Question : comment se répartissent les liens interpages selon les namespaces dans la table pagelinks d'origine et la nouvelle table fullpagelink ?

Namespacecompte

pagelinks compte

fullpagelink Perte nbr de liens % perte

0 8514571 7256965 1257606 14,771 21105 11612 9493 44,982 263859 250167 13692 5,193 66502 66191 311 0,474 379535 374531 5004 1,325 3495 3039 456 13,056 5895 35 5860 99,417 45 34 11 24,448 1002 930 72 7,199 1514 85 1429 94,39

10 34181 30802 3379 9,8911 1779 1532 247 13,8812 237556 237458 98 0,0413 118 118 0 0,0014 231417 218591 12826 5,5415 499 208 291 58,32

100 111585 110650 935 0,84101 484 358 126 26,03104 316 175 141 44,62

Etape 2 La table categorylinks associe à chaque page Wikipédia une ou plusieurs catégories. La table fullpagelink nous permettrait de constituer le graphe des pages inter-connectées. En combinant categorylinks avec fullpagelink, on peut construire le graphe des catégories interconnectées, ce qui est l’objectif de cette expérience. Nous créons une table allcategorylink qui décrit les liens inter-catégories construits à partir des liens inter-pages.

3

CREATE TABLE allcategorylinks (sourcecat varchar(255) NOT NULL ,targetcat varchar(255), namespace int(11) NOT NULL default '0', compte int(8) NOT NULL default '0' ) INSERT INTO allcategorylinks SELECT CL1.cl_to, CL2.cl_to, plinks.namespace, count(*) FROM fullpagelink AS plinks, categorylinks AS CL1, categorylinks as CL2 WHERE plinks.source_page = CL1.cl_from AND plinks.target_page=CL2.cl_from GROUP BY CL1.cl_to, CL2.cl_to, plinks.namespace; Nota Bene : cette requête a mis environ 23 heures pour s’exécuter sur ma machine, il faut être patient… mais il y a peut-être un moyen de l’optimiser, je ne suis pas un spécialiste de sql. Vérification : SELECT count(*) FROM allcategorylinks 7 148 762 Or : SELECT count(*) FROM fullpagelink 8 563 481 On en déduit qu’il doit exister des pages qui n’ont pas de categories ( ?). le nombre exact est difficile à chiffrer, mais cela contribue à diminuer de 1 414 719 le nombre de liens inter-catégories (rappelons qu’une page peut être classée dans plusieurs catégories). Le réseau des catégories défini est ainsi constitué de plus de 7 millions de liens. Pour chaque lien, on connaît :

- son namespace (dérivé du namespace de lien inter-page utilisé pour créer ce lien inter-catégorie). - Le nombre de fois que ce type de lien occurre (champ ‘compte’ de la table allcategorylinks).

Tout d’abord occupons nous des relations inter-catégorie qui bouclent dans la même catégories et comptons les : SELECT count(*) FROM allcategorylinks WHERE sourcecat=targetcat 19 368 C’est peu pour de 7 millions de relations (environ 0.3%).

4

Nous décidons de supprimer ces relations qui n’apporterons pas grand-chose à la visualisation en terme de couverture thématique : DELETE FROM allcategorylinks WHERE sourcecat=targetcat Il reste ainsi 7 129 394 relations inter-catégories après purge des liens réflexifs. A ce point, il est intéressant de regarder la distribution des liens selon le nombre de fois où ils se répètent dans la base Wikipédia et selon leur namespace. Voici tout namespace confondu, le nombre d’occurrences pour chaque relation instanciée n fois dans la base. Exemple : Il existe un lien categA -> categB, ce lien est observé 5 fois dans la base. Dans la première colonne du tableau on inscrit donc 5. Ensuite on compte le nombre occurrences de relations qui ont été observées 5 fois. Si on a aussi et seulement categD -> categE alors en face dans la colonne de droite on place 2 (categA -> categB , categD -> categE font deux relations inter-catégories qui apparaissent chacune 5 fois dans la base Wikipédia). SELECT compte, count(*) AS occurrences FROM allcategorylinks GROUP BY compte ORDER BY compte compte occurrences

1 4253778 2 1153751 3 530533 4 281447 5 175484 6 121531 7 85386 8 66214 9 51292

10 43662 11 34217 12 30524 13 25822 14 21172 15 17624

16 1732017 1428418 1272519 1134020 1043121 884222 888923 711324 697125 583626 611727 592328 502729 442630 446531 3912

32 367733 334834 340435 302836 289037 254338 250939 237040 240041 213242 210243 192044 195245 187046 165447 1694

5

48 1716 49 1494 50 1378 … … … …

34033 1 34042 2 34054 1 34060 1 34065 1 34080 1 34095 1 34109 1

34118 134162 134180 134184 134189 134197 134208 134248 134276 134403 134702 135019 135028 1

39256 146929 154528 165738 168078 168091 168113 168119 168301 168724 168745 1

Maintenant, comptage selon les namespaces SELECT namespace, count(*) as occurrences FROM allcategorylinks GROUP BY namespace ORDER BY namespace namespace occurrences

0 6607047 1 92 2 31491 3 7421 4 160024 5 103 6 36 8 5 9 42

10 71904 11 4586

6

12 18315 14 117621

100 110675 101 17 104 15

Pour une première tentative de visualisation sans prétraitement, nous comptons le nombre de relations dont le nombre d’occurrence est supérieur à un certain seuil : Si on supprime les apax : SELECT count(*) FROM allcategorylinks WHERE compte>1 2 875 616 Soit 4 253 778 relations “apax”. On décide de les éliminer d’office pour notre essai de visualisation. Voici pour donner un ordre d’idée de la distribution quelques autres comptages : SELECT count(*) FROM allcategorylinks WHERE compte>5 734 401 SELECT count(*) FROM allcategorylinks WHERE compte>50 59 255 SELECT count(*) FROM allcategorylinks WHERE compte>100 26 276 SELECT count(*) FROM allcategorylinks WHERE compte>200 12 390 SELECT count(*) FROM allcategorylinks WHERE compte>500

7

3 956 SELECT count(*) FROM allcategorylinks WHERE compte>5000 115 Jetons un œil sur ces 115 relations les plus fréquentes : sourcecat targetcat namespace compte Acteur_américain Wikipédia:ébauche_cinéma 0 6840Acteur_français Acteur 0 5390Acteur_français Actrice 0 5391Acteur_français Wikipédia:ébauche_cinéma 0 5628Album_de_rock Rock_par_pays 0 8262Amas_stellaire Objet_de_Messier 0 6108Arrondissement_français Wikipédia:ébauche_commune_française 0 5245Astéroïde_de_la_ceinture_principale Mécanique_céleste 0 5001Code Liste_de_sigles 0 7831Code_postal Wikipédia:ébauche_commune_française 0 20130Commune_de_Wallonie Province_de_Liège 0 5743Commune_des_Pyrénées-Atlantiques Wikipédia:ébauche_commune_française 0 11044Commune_du_canton_de_Vaud Wikipédia:ébauche_commune_de_Suisse 0 10444Compositeur_français Compositeur_de_musique_classique 0 5038Flore_(noms_vernaculaires) Botanique 0 7864Flore_(noms_vernaculaires) Taxinomie 0 6247Gekkonidae Biologie 0 5744Groupe_de_musique_américain Rock_par_pays 0 5746Groupe_de_rock Genre_de_rock 0 8373Groupe_de_rock Liste_des_groupes_de_rock 0 5656Groupe_de_rock Rock_par_pays 0 14811Groupe_de_rock Wikipédia:ébauche_musique 0 8079Homonymie Liste_de_sigles 0 8572Homonymie Wikipédia:Conventions_de_style 12 11356Homonymie Wikipédia:aide_technique 12 11523

8

Homonymie Wikipédia:ébauche_commune_française 0 9977Image_Domaine_Public Licence_de_copie 0 7926Image_Domaine_Public Propriété_intellectuelle 0 8161Image_Domaine_Public Wikipédia:francocentré 0 7912Image_marque_déposée Propriété_intellectuelle 0 6837Index_égyptologique Dynastie_égyptienne 0 7552Manga Liste_de_mangas 0 10260Objet_de_Messier Amas_stellaire 0 6225Pharaon Dynastie_égyptienne 0 5612Pharaon Index_égyptologique 0 8490Province_de_Liège Commune_de_Wallonie 0 5678Reptile_(noms_scientifiques) Biologie 0 5792Reptile_(noms_scientifiques) Gekkonidae 0 5634Roman_de_science-fiction Science-fiction_au_cinéma_et_à _la_télévision 0 7614Sigle Liste_de_sigles 0 8260Série_Delcourt Auteur_de_bande_dessinée_par_ordre_alphabétique 0 5044Série_de_bande_dessinée Auteur_de_bande_dessinée_par_ordre_alphabétique 0 9490Série_télévisée_américaine_des_années_1990 Série_télévisée_par_ordre_alphabétique 14 5319Série_télévisée_d'animation Série_télévisée_par_ordre_alphabétique 14 5346Utilisateur_en Wikipédiens_par_langue 14 8423Utilisateur_fr Wikipédiens_par_langue 14 8178Utilisateur_fr-M Wikipédiens_par_langue 14 5929Wikipédia:Archives_Pà S Utilisateur_en 2 11506Wikipédia:Archives_Pà S Utilisateur_en-2 2 6025Wikipédia:Archives_Pà S Utilisateur_fr 2 12033Wikipédia:Archives_Pà S Utilisateur_fr-M 2 11843Wikipédia:ébauche Wikipédia:aide_technique 12 6523Wikipédia:ébauche_administration_territoriale Wikipédia:ébauche_commune_française 0 8305Wikipédia:ébauche_bande_dessinée Auteur_de_bande_dessinée_par_ordre_alphabétique 0 5486Wikipédia:ébauche_commune_de_Suisse Commune_du_canton_de_Vaud 0 10084Wikipédia:ébauche_commune_française 1962 0 30689Wikipédia:ébauche_commune_française 1968 0 30762Wikipédia:ébauche_commune_française 1975 0 30762Wikipédia:ébauche_commune_française 1982 0 30836Wikipédia:ébauche_commune_française 1990 0 31485

9

Wikipédia:ébauche_commune_française 1999 0 33290Wikipédia:ébauche_commune_française 2001 0 32934Wikipédia:ébauche_commune_française 2008 0 11701Wikipédia:ébauche_commune_française Administration_territoriale 0 34403Wikipédia:ébauche_commune_française Administration_territoriale_française 0 68113Wikipédia:ébauche_commune_française Années_1990 0 65738Wikipédia:ébauche_commune_française Années_2000 0 46929Wikipédia:ébauche_commune_française Arrondissement_français 0 32496Wikipédia:ébauche_commune_française Astrométrie 0 68078Wikipédia:ébauche_commune_française Cartographie 0 68091Wikipédia:ébauche_commune_française Code_géographique 0 68301Wikipédia:ébauche_commune_française Code_postal 0 54528Wikipédia:ébauche_commune_française Colonialisme 0 34028Wikipédia:ébauche_commune_française Commune_de_France 0 35028Wikipédia:ébauche_commune_française Commune_des_Pyrénées-Atlantiques 0 10914Wikipédia:ébauche_commune_française Démographie 0 34184Wikipédia:ébauche_commune_française Démographie_de_la_France 0 34033Wikipédia:ébauche_commune_française Département_français 0 34060Wikipédia:ébauche_commune_française France 0 68745Wikipédia:ébauche_commune_française Francophonie 0 34702Wikipédia:ébauche_commune_française Géographie_humaine 0 34109Wikipédia:ébauche_commune_française Géologie 0 34054Wikipédia:ébauche_commune_française Géométrie 0 34189Wikipédia:ébauche_commune_française Histoire_contemporaine 0 34118Wikipédia:ébauche_commune_française Institution_française 0 68119Wikipédia:ébauche_commune_française Intercommunalité 0 34095Wikipédia:ébauche_commune_française Liste_de_pays 0 34162Wikipédia:ébauche_commune_française Mesure_physique 0 34042Wikipédia:ébauche_commune_française Mois_de_l'année 0 30326Wikipédia:ébauche_commune_française Montagne 0 34065Wikipédia:ébauche_commune_française Physico-chimie_des_interfaces 0 34180Wikipédia:ébauche_commune_française Quantité_physique 0 34208Wikipédia:ébauche_commune_française Région_française 0 68724Wikipédia:ébauche_commune_française Statistiques 0 34080Wikipédia:ébauche_commune_française Système_de_coordonnées_célestes 0 34042

10

Wikipédia:ébauche_commune_française Système_postal 0 34248Wikipédia:ébauche_commune_française Urbanisme 0 34197Wikipédia:ébauche_commune_française Wikipédia:aide_technique 12 35019Wikipédia:ébauche_commune_française Wikipédia:ébauche 0 39256Wikipédia:ébauche_commune_française Wikipédia:ébauche_administration_territoriale 0 33206Wikipédia:ébauche_commune_française Wikipédia:ébauche_histoire 0 34276Wikipédia:ébauche_commune_française Événement_à _venir 0 13425Wikipédia:ébauche_faune Biologie 0 19671Wikipédia:ébauche_faune Botanique 0 17080Wikipédia:ébauche_faune Taxinomie 0 14690Wikipédia:ébauche_gecko Biologie 0 5602Wikipédia:ébauche_gecko Gekkonidae 0 5581Wikipédia:ébauche_mammifère Biologie 0 6205Wikipédia:ébauche_mammifère Botanique 0 5211Wikipédia:ébauche_musique Genre_de_rock 0 5388Wikipédia:ébauche_musique Rock_par_pays 0 9329Wikipédia:ébauche_objet_mineur Mécanique_céleste 0 5446Wikipédia:ébauche_science-fiction Science-fiction_au_cinéma_et_à _la_télévision 0 5319Wikipédia:ébauche_Égypte_antique Index_égyptologique 0 6035Écrivain_français Wikipédia:ébauche_littérature 0 6019

11

Etape 3 : Visualisation On introduit les données dans Semiophore Explorer avec le modèle suivant : Le chargement des données est réalisé directement à partir de la base MySQL autograph-wikimedia. <?xml version="1.0" encoding="ISO-8859-1" ?> <semiomation name="Wiki catégories" author="semiosys" serial="cq0037" > <model driver="com.mysql.jdbc.Driver" loader="SQLLoader" ldriver="com.mysql.jdbc.Driver" ip="localhost" port="3306" dbname="autograph"> <entity id="CATEGORIE" sql="SELECT distinct sourcecat FROM allcategorylinks WHERE compte>10 UNION SELECT distinct targetcat FROM allcategorylinks" modality="autoincrement" searchable="true"> <property id="CATEGORIE" column="1" type="VARCHAR(255)" jtype="string" nodelabel="true" viewable="true" searchable="true"/> </entity> <link id="LINKED_TO" modality="autoincrement" edgelabel="is_linked" sql="SELECT * FROM allcategorylinks WHERE COMPTE>50" viewable="true" searchable="true" directed="true"> <source ref="#CATEGORIE" column="1" field="CATEGORIE" viewable="true"/> <target ref="#CATEGORIE" column="2" field="CATEGORIE" viewable="true"/> <property id="NAMESPACE" column="3" type="VARCHAR(16)" jtype="String" viewable="true" searchable="true"/> <property id="NBR" column="4" type="INT" jtype="integer" viewable="true" searchable="true"/> </link> <network id="CATEGORIES" mode="normal" searchable="true"> <relation ref="#LINKED_TO"/> <view threshold="5000 " method="jung" label="Interactive View v2"/> <view threshold="10000 " method="matrix" label="Matrix View"/> <view threshold="5000" method="springinter" label="Interactive View v1"/> <view threshold="6500" method="staticdot" label="static oriented layout view"/> <view threshold="6000" method="statictwopi" label="static radial layout view"/> <view threshold="6000" method="staticneato" label="static non oriented layout view"/> <variables> <var id="NBR_CLIQUES" type="INT" jtype="integer" viewable="true" editable="false"/> <var id="CLIQUES" type="TEXT" jtype="graphset" viewable="true" editable="false" folder="réseaux/cliques"/> </variables>

12

<procedures> <proc name="cliques" priority="2" class="semiosys.semiomation.gmodules.FindCliques"/> </procedures> </network> <info> <elt label="Nombre de catégories" jtype="integer">SELECT COUNT(*) FROM CATEGORIE</elt> <elt label="Nombre de liens inter-catégories" jtype="integer">SELECT COUNT(*) FROM LINKED_TO</elt> </info> </model> </semiomation> On a ainsi chargé 36313 catégories et 59255 liens inter-catégories (requête : SELECT count(*) FROM allcategorylinks WHERE compte>50) : il s’agit déjà de commencer avec un corpus de taille raisonnable que l’on puisse charger dans des temps raisonnables. On lance un calcul des composantes connexes de ce graphe sans contrainte (383 composantes connexes identifiées). On lance également un calcul des composantes connexes avec contrainte :

(1) namespace = 0 (380 composantes connexes identifiées) (2) occurrences>3000 (25 composantes connexes identifiées)

ce qui nous permet d’avoir des vues plus dépouillées sur le graphe. On part également d’une catégorie pour en explorer la périphérie. Pages suivantes : copies d’écran. La première image montre une composante connexe. La taille des nœuds est fonction de la mesure k-noyau, idem pour la couleur. La taille des liens est fonction du nombre d’occurrence de line inter-catégorie dans la base wikipédia. La seconde image montre le même graphe que la première mais avec un filtrage interactif sur le namespace et sur le nombre d’occurrences rencontrées. La troisième image montre une autre composante connexe sur Canada avec des nœuds en pétal pour faire apparaître plusieurs mesures associées aux nœuds.

13

14

15

16

Composante connexe résultant d’une calcul des CC avec contrainte nbr>3000.

17

25 composantes connexes, aperçu ihm

18

Problèmes rencontrés et non résolus : - le jeu de caractères étrange. Même Java ne s’en sort pas pour afficher correctement les accents. - J’ai un doute sur les comptages du nombre d’occurrences des liens inter-catégories. Le SQL me paraît correct néanmoins les résultats semblent

parfois étranges. Etapes ultérieures :

- visualisation des contributeurs, des révisions autour d’un article. - …