Sélectionner et partager linformation en ligne Recherche stratégique et mutualisation Béatrice Micheau FIL 2006

Sélectionner et partager l’information en ligne

Recherche stratégique et mutualisation

Béatrice Micheau FIL 2006

Introduction

Outils de recherche et de partage de l’information

Dispositif technique Media ? (textes lisibles, communication,

action)

Introduction

Contre une approche procédurale

1. Lecture et compréhension d’une information visuelle (écran)

2. Émetteur caractérisé par des intentions, des rôles, des moyens (moteurs, annuaires, web 2.0)

3. Objets, opérations et connaissances techniques + texte technologie

4. Recherche d’information recherche de documents notion de discours (thème, forme, relationsource)

Introduction

Evaluer les outils : indexation / interrogation Construire des stratégies de recherche :

indices, traces, signes Economiser : Veiller, partager

Première partie : Le réseau et la toile ; Internet et le web

1.1. Internet : un réseau de communication

1.1.1. Fonctionnement décentralisé d’Internet

Réseau mondialisé Système d’adressage global Protocoles de communication Protocole TCP/IP


Sur Internet, les protocoles utilisés font partie d'une suite de protocoles, c'est-à-dire un ensemble de protocoles reliés entre eux. Cette suite de protocole s'appelle TCP/IP.

1.1. Internet : un réseau de communication La circulation des données sur le réseau entre

les ordinateurs nécessitent des règles de fonctionnement

« le mot protocole désigne en général les messages échangés entre deux machines. L'intérêt d'un protocole est de définir des méthodes d'échange d'information, indépendantes des matériels. Ainsi, une fois le protocole défini, chaque terminal, ou client ou serveur implémente ce protocole sans se soucier des autres ordinateurs. »(grappa Lille3, Gilles Maire)


TCP/IP : « Transmission Control Protocol/Internet Protocol »

Cette suite de protocoles permet :• De fractionner les messages en paquet• L’utilisation d’un système d’adresses : adressage IP• L’acheminement des données sur le réseau• Le contrôle des erreurs de transmission de données.


1.1.2. Le développement des protocoles

1971-1972Le courrier électronique

Premier programme pour la réception et l’envoi de courrier électronique : SNDMSG et READMAIL.

@

Premier programme de gestion des courriers (écrire, répondre, enregistrer, classer)


Le protocole SMTP (Simple Mail Transfer Protocol, traduisez Protocole Simple de Transfert de

Courrier) est le protocole standard permettant de transférer le courrier d'un serveur à un autre.

Courrier électronique : 75 % du trafic en 1973


1974 TCP/IP

•Machine différente mais communiquant avec la même technique de commutation de paquets

•« charte » : suites de protocoles TCP/IP (de 4 à 40, US GB et Norvège)

•Amélioration de NCP : Network Control Protocol

•Prise en charge Ethernet et Telnet

•1983 adoption définitive du TCP/IP


•Le FTP (File Transfer Protocol) permettant de gérer le transfert des fichiers (1973)

•Le Telnet qui permet d’interroger un ordinateur distant donc d’autres protocoles de la suite s’appuient sur Telnet (1974)

•Le Usenet gérant les groupes de discussion en 1979


•L’Internet Relay Chat (IRC) permettant la communication en temps réel en se connectant grâce à un logiciel spécifique

(client) à un serveur 1988

•Le protocole HTTP (Hypertext Transfer Protocol) qui gère l’accès au Web 1989 (Tim Berners-Lee)

•Le Peer-to-Peer permettant l’échange de données direct. 2000


1.1.3. Définition du protocole http

Le but du protocole HTTP est de permettre un transfert de fichiers (essentiellement au format HTML) localisés grâce à une chaîne

de caractères appelée URL entre un navigateur (le client) et un serveur Web


Schéma du protocole HTTP


1.1.4. L’adresse URL

Un URL (Uniform Resource Locator) est un format de nommage universel pour désigner une ressource sur Internet. Il s'agit d'une chaîne de caractères en cinq parties.

• Le nom du protocole• Identifiant et mot de passe• Nom du serveur• Numéro de port• Le chemin d’accès à la ressource


1.1.5. Les noms de domaine

•Un nom de domaine permet de situer un serveur sur Internet

•simplifier l’utilisation de l’internet

•un nom et une extension ou suffixe ou encore “racine” et “domaine de tête” (top

level domaine)


Des règles peu claires :

• Extensions réservées (.gouv, .mil, .edu)• Charte d’attribution; de nommage

(ICANN/AFNIC/registrar) • Le premier servi • Les extensions nationales correspondent au

code ISO 3166 à deux lettres


Conclusion : Fonctionnalités du navigateur URL et unité documentaire Le site Web ou la page : granularité

Usages en établissement scolaire

1.2. Le web : une toile

Appellation la plus courante de World Wide Web : système d'information multimédia, basé sur des liens hypertextes et permettant de naviguer d'un site à un autre sur internet.(glossaire Université de Nice)

Le web n’est pas un espace documentaire: auto-publication


1.2.1 La “taille du web”

• Google déclare indexer plus de 8 milliards de page

• Pas d’études récentes : univers en expansion

• Une impossibilité de dénombrement : pages en construction, pages ignorées …pages détruites. Labilité, variabilité du web


1.2.2. Structure du WEB

Les liens hypertextes

Cartographier le web


Le nœud papillon (hypertexte)

La zone SCC (strongly connected component)

La zone IN

La zone OUT

(Andrew Tomkins et Ravi Kumar)



• Des composants isolés

• Les tubes

• Les vrilles

• Relativiser et s’attacher aux thèmes/cohérence linguistique: fil d’ariane


1.2.3. Hétérogénéité des sites web (modes de publication)

• Web statique

• Web dynamique

• Langages de scripts : PHP, ASP


1.2.4. Le html

• Sa structure de base : langage de balises

• Lien hypertexte et insertion de fichiers

• Les métadonnées : keywords, author, description


Conclusion

•Hypertextualité et fil d’ariane

•Sites pivots

•Mémoire et archivage

•Réseaux techniques, réseaux humains

Deuxième partie : Stratégie de recherche

en ligne

Introduction

Deux grands types d'outils

Les outils d'indexation automatique : moteurs et métamoteurs

Les outils de traitement humain des ressources web : annuaires, portails,

répertoires et signets

Introduction

Deux situations : Chercher un document ou une ressource que

l'on sait existant (indices).

Répondre à un besoin d'information : incertitude, pertinence, démarche de

recherche complexe, investigation, fil d'ariane, signaux forts et signaux faibles, suivre les

traces...

Introduction

Evaluer ce que peut amener chaque outil. Utiliser des outils différents pour une même recherche, pouvoir trouver de nouveaux outils.

Construire une stratégie de recherche.

Bibliographie

Bibliographie /sitographie :

INRIA. La recherche d'information sur les réseaux. Paris : ADBS, 2002.

LARDY, Jean-Pierre. Recherche d'information sur Internet : méthodes et outils. Paris : ADBS, 2001

Blog Outils Froids et BlogokatFing / Intert’Actu

Articles Olivier ErtzscheidNetsources

Revue Bases FormistUrfist

2.1. Les outils d'indexation automatique(typologie traditionnelle liée à la couverture des ressources)

Les moteurs de recherche :

Moteurs de recherche généraliste

Moteurs de recherche spécialisés

Les métamoteurs :

Les métamoteurs hors ligne

Les métamoteurs en ligne

2.1. Les outils d'indexation automatique2.1.1. Les moteurs

Définition d'un moteur (Urfist de Rennes)« Instrument automatisé de recherche d'information,

fondé sur un recensement des sites , sur la mémorisation partielle ou intégrale de leur contenu et la construction d'un index, enfin sur l'élaboration de procédures d'accès à l'information par le biais d'une

interface de recherche par mots clés (simple / avancée). »

2.1. Les outils d'indexation automatique 2.1.1. Les moteurs

Les trois éléments constitutifs d'un moteur Un robot qui explore et collecte les

ressources Un module d'indexation

Un gestionnaire de requête

2.1. Les outils d'indexation automatique

2.1.1. Les moteurs

Le robot de collecte ou spider ou crawler

2.1.1.

Le robot

Suivre les liens hypertextes

Crawling incrémental


Le module d'indexation et l’interrogation


L'indexation des pages web est confrontée à● hétérogénéité● Homonymie, synonymie● Multiplicité des espaces d’information● coexistence contenus statiques/dynamiques● le cas des weblogs et des sites XML


L' interface d'interrogation/ le gestionniare de requête :

Public cible, portail, services, économie des moteurs de recherche.

Modules de requête (recherche avancée, lien avec indexation).

Liste de résultats (lien avec indexation : classement des réponses ...la pertinence/la

pertinence du moteur).Présentation des résultats.


La notion de pertinence documentaire Définition : Degré de corrélation entre une question et la

réponse apportée Bruit et Silence Taux de rappel (recall ration) :

proportion de documents pertinents retrouvés par rapport à l'ensemble des documents pertinents de la base documentaire. Définit le taux de silence documentaire.

Taux de précision (precision ratio) :proportion de documents pertinents par rapport à l'ensemble des documents récupérés. Définit le taux de bruit documentaire.


La pertinence pour les outils d'indexation automatique

Le Web n'est pas un système ni un espace documentaire.

Le silence n'existe guère. Comprendre pertinence des moteurs de

recherche.Approcher d'une pertinence par rapport à un

besoin d'information.


Pertinence des moteurs de recherche = mode de tri/de classement des réponses

Techniques d'indexation utilisées. Les critères de classement des réponses : le tri par pertinence, le tri par popularité, le tri par catégories (outils statistiques sémantiques).


Le tri par pertinence : 5 critèresla place du mot dans le document : le poids du mot est plus

important s'il est situé dans le titre et le début du texte, ou si le mot est en majuscules.

la fréquence d'occurrence dans un document par rapport à la taille du document.

le poids d'un mot dans l'ensemble de la base (mots peu fréquents favorisés, mots vides sous-évalués ou éliminés).

la correspondance d'expression : la similarité entre l'expression de la question et l'expression correspondante dans le document

donne le poids le plus grand.la proximité des termes de la requête entre eux dans le

document : à une plus grande proximité correspond un poids plus important.


Les critères de popularité Co-citation et pagerank (google)

Le Directhit (hotbot)


Les outils de regroupements sémantiques

Regroupements non hiérarchisés (Alltheweb, Ask, Exalead, boolgum ?, AOL ?).

Regroupements hierarchisés ou clusters (centralité et co-occurence). Ex : Vivisimo.

Une autre typologie des moteurs.


Répondre au besoin d'information :La pertinence pour l'automate

La pertinence pour l'utilisateur : pertinence de la requête, pertinence de la présentation

des résultats, pertinence de contenu ou pertinence thème (liens avec outils

sémantiques, cohérence de la langue)Dilemne : étendre la surface et offrir une

cohérence en pouvant spécialiser/préciser


La formulation des requêtes :Les fonctions de recherche en mode simple

Les fonctions de recherche en mode avancéeOrganisation de l'interface et modules

spécifiquesEnvironnement du moteur (couplage des outils

: exemple caractéristique de Yahoo)


Les fonctions de recherche en mode simple Règles générales de formulation d'une requête

Un mot est une chaîne de caractères (pluriel).

Guillemets pour caractériser les mots composés.Vérifier prise en compte de la casse.

Les opérateurs boléens (AND, OR, NOT, NEAR).La troncature ou lemmatisation * (très rare).

Recherche par champs liés à la structure html : url, title...


Les fonctions de recherche en mode avancée

Aider à formuler la requêteListe des champs et préfixes de recherche Format de fichier (PDF (Portable Document Format) DOC (fichiers Word) PPT (Power Point) XLS (Excel) TXT (Texte) RTF (Rich Text Format) PS (Post Script) FLASH GIF JPG Autres)LanguesEmplacement (nom de domaine, hôte cf.URL)DatesFiltre et personnalisationDomaines de recherche (url, nom de domaine, domaines définis)Renseignements sur les pages web (description, grandeur...)


Organisation de l'interface et modules spécifiquesWeb mondial Web francophone

Web français Module d'images

Forums Actualités Annuaire

Weblogs (technorati) Outils linguistiques

...


La présentation des réponses

-l'extrait avec mot-clef-la page cache-les pages similaires-l'image de la page (preview)-la présentation cartographique

INTERPRETER LA LISTE DES RESULTATS

2.1.Les outils d'indexation automatique2.1.2 . Le web invisible

Le web invisible : les pages qui ne sont pas indexées

Pages isolées Pages privées/interdites

Pages qui ont changé de localisationPages dynamiques

©Armelle Thomas - Septembre 2004 56

Dispersion et hétérogénéité hétérogénéité renouvellement perpétuel Granularité des contenus Instabilité des localisations Fragmentation plus ou moins importante, selon les

disciplines Multilinguisme et couverture géographique mondiale Information gratuite et payante (tendance à la valeur

ajoutée payante).



Dispersion et hétérogénéité hétérogénéité renouvellement perpétuel Granularité des contenus Instabilité des localisations Information gratuite et payante (tendance à la

valeur ajoutée payante). Hétérogénéité : langues, lisibilité, disciplines…


bruit Mais le silence :

Indexation moteur (quantité et qualité)Capacités interrogation et consultation

• Bdd « à interface web »

• Connexion

• Quels scripts, quels langages, quelles passerelles ?

• Bases de données ?

• Bases de données relationnelles propriétaires (Oracle, File Maker, etc..)

• Php / My SQL

• Logiciels documentaires (Ever, Alexandrie, etc..)

• Catalogues de bibliothèques (Z 3950) …

• groupwares



Une définition complète du web invisible (adbs)

“C’est l’ensemble des pages non localisables et/ou non indexables par les outils classiques de recherche du web. Il correspond à plusieurs types de ressources”


Un fabuleux volume d’informations

Web visible 3 à 10 % du web total ; l’étude de Bright Planet (2000) parle de 350.000 bases de données disponibles représentant 550 milliards de pages et 500 fois la surface du web visible .


• Le web invisible croissance exponentielle

• Le web invisible contient des ressources de qualité supérieure au web visible

2.1.Les outils d'indexation automatique

2.1.3 . Les métamoteurs

Augmenter la pertinence de contenu :Toucher une plus grande surface : les

métamoteurs, mieux et/ou plus indexer ;Se spécialiser : modules spécifiques,

cohérence sémantique (outils statistiques), moteurs spécialisés

2.1.Les outils d'indexation automatique2.1.3 . Les métamoteurs

Les métamoteursListe paramétrable.

Spécifier des requêtes complexes ?Dilution de la pertinence.

Outils « intelligents »(clusters et résumés automatiques).

Présentation des résultats (Kartoo).

2.1.Les outils d'indexation automatique2.1.3 . Les métamoteurs Les métamoteurs hors ligne

ou client : des agents de veille Présentation cartographique Présentation textuelle :Copernic

(version gartuite), DigOut4U(cédérom)

Les métamoteurs en ligne

Metacrawler Kartoo (cartographie) Ixquick (puissance) Vivisimo(clusters)

2.1.Les outils d'indexation automatique2.1.3 . Les métamoteurs

Searchengine colossushttp://www.searchenginecolossus.com/

Moteurs de recherche régionaux sur Abondance Moteurs francophones sur DSI

.

2.1.Les outils d'indexation automatique

Conclusion

Sérendipité Indices /indexation /interrogation Entre langages et réseaux

2.2.Traitement documentaire des ressources web

De l'annuaire aux répertoires, signets et bibliothèques du Web :

Sortir de la polysémie, de l'homonymie.Référencer le web invisible.

Logique de pertinence de contenu. Sélection des ressources.

Traitement documentaire des ressources : vers le qualitatif.


Les annuaires généralistes :portail et services : le public, modèle

économiquearborescence : thèmes et systématisme

option généraliste.Degré du traitement documentaire :

classement, résumé, références, typologie des ressources...

Grille : arborescence, critères de sélection, interface, traitement.


Un annuaire collaboratif : le projet ODP

• Grille : arborescence, critères de sélection, interface, traitement

• Sortir de la logique commerciale• Des experts ?

• NB : l'approche communautaire des ressources Web, l'Agora (une encyclopédie ou un répertoire ?)


De l'annuaire au répertoire : choisir un modèle documentaire et l'adapter aux

particularités des ressources Web

L' exemple des répertoires académiques/institutionnelles

Classement/ ClassificationRésumer /décrire un site web :

indiquer/indexer le contenu ; spécifier le mode d'organisation des ressources.

Traitement documentaire des ressources web

Les répertoires et signetsLa spécialisation : spécialisation de ressources, spécialisation usagers,

spécialisation ressources et usagers L'approche qualitative

Traitement documentaire


Le portail ou gatewayUne ressource d'informations et/ou un outil de

rechercheExemple du portail du Ministère de la Culture

Repérer des portails : les experts, les annuaires, les moteurs de recherche


Construire une collection de ressources webLes signets de la BPI : en ligne et hors ligne

Les signets de la BNF : stabilité, qualité, répondre à des besoins, une typologie (Fournisseurs d'informations, Outils

de recherche, Outils de référence, Base de données.../articulation avec origine) Renardus et

Bibliothèque universitaire du web)Les signets de Bibliothèque (SCD, Bibliothèques publiques)

Repérer les répertoires spécialisés :formatic 2000, educasource


Les bases de données Ressources « primaires » : dictionnaires et

encyclopédies (Agora, TLF, Wikipédia) Base de données donnant accès aux

ressources primaires : bibliothèques numériques, base images, archives ouvertes

Base de donnée donnant accès à des documents secondaires : catalogue de

bibliothèques et de centres de documentation en ligne,

2.2.Traitement documentaire des ressources webLes bases de données : gratuit ou payant ?

(Sinbad et DADI)Des accès et des ressources gratuites : le problème du droit Des accès gratuits limités (Pascal et Francis, INPI)Des accès gratuits et des ressources payantesLe cas des archives ouvertes ressources collaboratives/structuration du webLes sites professionnels : communautés de pratiques cf.wikipedia et 90-5-1


Une grille d'évaluation :modes de recherche dans la base de données

ressources primaires et/ou secondairestraitement documentaire des ressources

présentation des résultatsniveaux d'accès

Formats d'accès et de travail


Bibliothèques numériques et base-images : modes d'interrogation et/ou de circulation

Agence photographique de la RMNCorbis

Bases culturelles : l'ensemble patrimonial, Bibliothèques numériques

Statuts différents


Sélectionner et organiser des outils de recherche , des répertoires spécialisés.

Veille et syndication.Pour nos usagers.Marier les outils.

Documents

Sélectionner et partager linformation en ligne Recherche stratégique et mutualisation Béatrice Micheau FIL 2006