Outils de recherche du web hors Google

Outils de recherche du web, hors Google...

Stage URFIST de Rennes21 octobre 2010

Marie-Laure Malingre Alexandre Serres

URFIST de Rennes, 2010 2

PLAN 1/ Introduction 2/ Quelques moteurs généralistes 3/ Pour les recherches spécialisées :

Pour trouver : des blogs, des actualités, des personnes, des documents scientifiques, des images, des vidéos, des podcasts, des documents PDF, des tweets…

4/ La dernière tendance : les moteurs en temps réel

5/ Participer aux moteurs de recherche 6/ Les moteurs sémantiques 7/ Moteurs visuels


PLAN

1/ Introduction : Des ressources pour s’informer et

se former Rappels sur le fonctionnement

des moteurs de recherche Proposition de typologies des

moteurs


1.1 Des ressources pour se former et s’informer Difficultés de la veille sur les outils de

recherche : Rapidité des innovations Surabondance des sources

Remèdes dans les outils eux-mêmes : Fils RSS, portail Netvibes, blogs, Twitter…

Deux ressources de l’URFIST de Rennes : Sélection de ressources sur les outils de recherche Le portail Netvibes de l’URFIST de Rennes : onglet

Recherche d’information


1.2 Fonctionnement des moteurs de recherche

Source : R. Viseur, CETIC


1.3 Typologies des moteurs de recherche

Difficultés des typologies

Plusieurs catégories de critères : L’offre des ressources :

Moteurs généralistes / spécialisés

Diversité des spécialisations

L’implication des internautes :

Moteurs participatifs : collaboratifs,

personnalisables…

La présentation des résultats :

Moteurs linéaires, visuels, cartographiques…

Mode d’indexation : Moteurs

sémantiques… Difficulté du critère

de l’indexation

« Fonctionnement » des moteurs :

Moteurs en temps réel


1.3 Typologies des moteurs de recherche : l’offre des ressources

Critère : type de ressources collectées Distinction principale :

Moteurs généralistes : G., Yahoo, Exalead, Ask, Bing…

caractéristique historique des grands moteurs : collecte et indexation de tous les types de ressources

Moteurs spécialisés : Tendance lourde des moteurs :

Modules spécialisés à l’intérieur des moteurs généralistes

Infinité des types de spécialisations Explosion du nombre d’outils


1.3 L’offre des ressources : diversité des spécialisations

Choix retenu pour l’exploration : 3 critères de spécialisations :

Selon les ressources internet : Moteurs de blogs, de forums, de listes de diffusion,

de FAQ, de wikis, de fils RSS, de tweets… Selon la nature du contenu :

Moteurs scientifiques, d’actualité, de personnes, de produits…

Selon la nature du média : Moteurs d’images, de vidéos, de podcasts, de

photos.. Autres critères possibles :

langue, géographie, domaine thématique…et maintenant dimension temporelle, accès au contenu


1.3 Typologies… : l’implication des internautes

Difficultés de caractérisation du critère, très récent : Intégration des aspects « web 2.0 » dans les moteurs

Critère principal : aspect « social » des moteurs de recherche

Degré, nature, modalités… d’implication des internautes dans le moteur de recherche

Deux types de moteurs : Moteurs collaboratifs : Wikia, Yoople Moteurs personnalisables : Rollyo

Tendance importante de développement des moteurs : enjeux économiques, image des outils…


1.3 Typologies… : la présentation des résultats

Innovations souvent spectaculaires : les interfaces, la présentation des données

Distinctions possibles : Moteurs linéaires, classiques Moteurs cartographiques, à clusters Moteurs visuels Moteurs parlants ? …


1.3 Typologies… : l’indexation des données Critère : mode d’indexation des données Typologie possible selon les différents

niveaux d’indexation linguistique : Moteurs d’indexation :

Morphologique Lexicale Syntaxique Sémantique

Typologie difficile à utiliser en pratique Imbrication des modalités d’indexation Enjeux des moteurs sémantiques


1.3 Typologies… :les moteurs « temps réel » Collecte, indexation et recherche en temps réel

des ressources du web Appelés aussi moteurs synchrones ;

Dernier terrain d’innovation, dernier champ de bataille des moteurs de recherche

Concurrence très vive Google, Bing et Yahoo

Enjeux : indexation de Twitter, des blogs, des réseaux sociaux…

Essor des outils depuis deux ans : 20 en juin 2009…


PLAN

2/ D’autres moteurs généralistes : Yahoo Exalead Bing


2.1 Les moteurs généralistes : Yahoo Search FR / Yahoo.com

Trio de tête concurrentiel des moteurs de recherche

Google / Yahoo / Bing (Microsoft)

Evolutions récentes Décembre 2009 : intégration Facebook Connect Février 2010 : accord Yahoo! / Twitter : intégration

des résultats de Twitter et gestion Twitter depuis Yahoo!

Intégration Yahoo / Bing (août 2010) Effectif sur Yahoo.com ; pour début 2011 sur Yahoo.fr Recherche Yahoo motorisée par Bing : indexation par Microsoft Gestion des liens sponsorisés par Yahoo Maintien des contenus spécifiques (portail)

Stratégie axée sur l’expérience utilisateur Yahoo garde le contrôle sur “l’expérience utilisateur” de son

moteur



Search

Requête Affinement des résultats

Fonctions connexes / page de résultats

Web - Opérateurs booléens

- Phrase exacte

- Critères : titre, date, site/domaine, url, format, pays, langue, lien

- Suggestions de recherche (Search Assist) = autocomplétion + concepts associés

- Sur des sources

- Sur des types de documents (requêtes sur musique, cinéma, actualités) [actuellement seulement sur yahoo.com]

- Sur les mots associés

- Bloc-note (Search Pad)

- Résultats sécurisés (SearchScan) et filtre parental

- Vignettes images, etc.

- Flux RSS de la requête

- Page personnalisable My Yahoo (compte)

Les autres modules : Images, Vidéo, Local, Shopping, News + Maps, People, Product, Creative Commons, Travel, Job,

Finances, Sports…


Search Pad

SearchScan

Filtrage sur sources

Termes associés

Search Assist

Filtrage sur types de documents

Modules

Flux RSS de la requêteCompte

Yahoo



Yahoo! Buzz, http://buzz.yahoo.com/

Yahoo! /mobiles, http://m.yahoo.com/

Yahoo! Search BOSS, http://developer.yahoo.com/search/boss/ (Build Your Own Search Service)

BOSS : voir moteur Trogdor, recherche instantanée

V2 en 2011; devient payant

Yahoo Site Explorer, https://siteexplorer.search.yahoo.com/mysites

Devrait être intégré dans le Bing Webmaster Center

Yahoo Search Monkey, http://developer.yahoo.com/searchmonkey/

partiellement stoppé

Outils de Yahoo autour du Search


2.2 Les moteurs généralistes : Exalead

Moteur très innovant créé par F. Bourdoncle et P. Bertin en 2000, reprise par Dassault (juin 2010) Entreprise française en plein développement

Plateforme technologique et de services pour entreprises

Moteur grand public, audience en hausse : 1 million de visiteurs uniques / mois : site web 100 millions sur l’ensemble des applications Exalead (sites

web de ses clients) Un module de recherche sur Wikipédia

Orientation technique : Aider l'usager dans la recherche d'information Intégration de la serendipité

Exalead partie prenante du projet Quaero



Un moteur innovant dans le traitement et la présentation des résultats :

Processus de catégorisation (a posteriori) Analyse statistico-sémantique des pages de

résultats, conduisant à l’identification des mots et expressions les plus fréquents

Aperçu graphique du contenu de la page / prévisualisation

Nombreuses possibilités d'affinement de la requête : Rubriques associées Limitation par zones géographiques Différents types de fichiers Recherches spécialisées : actualité, RSS...


2.2 Les moteurs généralistes : Exalead. La catégorisation

Technologies plus complexes ; domaine d’innovations avancées des moteurs et métamoteurs :

cf Exalead, certains métamoteurs (Yippy)

Principes : organisation en temps réel d’un lot de résultats pour

donner possibilité d’affiner ou étendre la requête répartition des documents dans des catégories

Intérêt pour la recherche : aide à la sélection d’un mot-résultat aide à l’élimination des corrélations inintéressantes, suggestion d’idées et de pistes nouvelles

enjeu essentiel : mise en ordre du « chaos informationnel



Nouveaux moyens d’accéder, d’analyser et d’exploiter le contenu multimédia en ligne/ Nombreux projets touchant :

La colorimétrie dans le cadre de la recherche d’images

La recherche et la navigation cartographiques La recherche en temps réel au sein de vidéos La représentation visuelle des relations

sémantiques L’exploitation du contenu provenant des

médias sociaux



Récentes innovations : Offre payante de CloudView (nuage

informationnel) Nombreuses applications

Nouvelle interface web, en juillet 2009 : Auto-complétion des mots-clés de requête

Suggestion de termes, au fur et à mesure de la saisie Recherches associées sous la barre de recherche Affichage de diagrammes circulaires pour les pays et

langues Personnalisation de la “zapette” Innovations dans l’affichage des images Amélioration des interfaces

Module Image (Octobre 2009) : après le filtre visage, recherche d’images par la

couleur avec Chromatik



Des applications associées (2009-2010) : Voxalead News / Quaero,

http://voxaleadnews.labs.exalead.com/ Partenariat Exalead / Vecsys, recherche dans news, vidéos et podcasts

de grandes chaînes d’information Tweepz, http://tweepz.com/ (recherche sur les profils

twitter) Sourcier http://sourcier.labs.exalead.com/ (Géolocalisation), Constellations, http://demos.labs.exalead.com/constellations/

La technologie Exalead dans plusieurs projets Glocal, voir sur le blog d’Exalead et sur le site du projet I-search, voir sur le blog d’Exalead et sur le site du projet Hyper-TV (France 24 / Exalead)

Prototype prévu pour début 2011


2.2 Les moteurs généralistes : Bing

Le moteur de Microsoft : Successeur de Live Search

Rendu public en juin 2009 En France, toujours en version bêta Bing USA, plus intéressant et pertinent

(10% de parts de marché) Nombreux modules de recherche : web, images,

vidéos, shopping, actualités, cartes et voyages, social ...

Historique de recherche “Related Searches” Richesse des opérateurs

Accord Yahoo / Bing en 2010 (interface USA pour le moment)



Bing Maps : améliorations successives et nouvelle interface (août 2010)

Bing Images : améliorations de la recherche d’images

Tailles d’images Liste des sites les utilisant Liste des pages qui parlent

de l’image

Bing Video Nouvelle interface de

recherche (fin 2009) Partage de fichiers

Bing social : Facebook

Recherche dans les pages « fans » + liens partagés

Renforcement du partenariat : intégration dans les résultats de recherche des suggestions issues du bouton « j’aime » de Facebook

Intégration des résultats Twitter

Quelques innovations (2009/2010)



Recherche sémantique Intégration de Wolfram Alpha (moteur de connaissance,

recherche sémantique, orienté sciences)

Entités nommées Association et utilisation de Bing pour le moteur

EntityCube, autre produit Microsoft (moteur sémantique)

Moteur de recherche travaillant sur les entités nommées

Intégration de résultats en temps réel Résultats issus du site Foursquare dans les cartes Bing

Maps Mixage des informations sur les endroits à visiter et les

avis des internautes sur ces derniers


PLAN

3/ Outils spécialisés : Selon les ressources Internet Selon la nature du contenu Selon la nature du media

URFIST de Rennes, 2010 28URFIST de Rennes, 2010 28

3.1 Outils spécialisés selon les ressources internet

A chaque type de ressource son outil : Diversité des moteurs et outils

Exemples pour trouver ou chercher dans : Des listes de diffusion : Tile.net Des forums : BoardReader Des FAQ : QueryCat Des wikis : Qwika Des fils RSS : RSSfeeds , Feediop (recherche

en temps réel dans les flux RSS) Des tags et des plateformes de partage

de signets : Keotag, TagLand


3.1 Moteurs spécialisés selon les ressources internet : blogs

Moteurs de recherche de blogs : Technorati

Recherche dans les blogs, dans les posts Indicateur d’influence du blog Mises à jour sur Facebook, Twitter, via le mail ou

le fil RSS

Wikio Recherche à la fois sur les blogs et

médias


3.1 Moteurs spécialisés selon les ressources internet : microblogging, Twitter

Plusieurs outils de recherche spécialisés

Topsy : Recherche par mots-clés,

par utilisateurs, par dates…

Affichage par périodes TwitterPowerSearch :

Moteur de recherche en temps réel :

Derniers tweets postés Présentation des résultats

de recherche en widgets Outil de veille

TweetGrid : Tableau de recherche

de tweets avec nombreuses fonctionnalités

Recherches possibles sur 9 critères

Recherche avancée Affichage personnalisé

en colonnes Outil en temps réel Sauvegarde de la veille

Stickytter : outil de veille en

temps réelVoir sur Twittosphere.fr, le blog des applications pour Twitter : recense plus de 700 applications (sept. 09) !


3.2 Moteurs spécialisés selon la nature des contenus :moteurs d’actualités

Modules ou services proposés par les outils de recherche

Agrégation de multiples sources d’actualité : Presse, blogs, sites web… Revues de presse automatisées

Services gratuits : alertes…

Nombreux moteurs d’actualité : Précurseur : Google News Modules spécialisés : Yahoo News,

Concurrence aiguë, enjeux économiques importants Problèmes et conflits juridiques


3.2 Moteurs spécialisés :moteurs d’actualités Wikio :

indexe sources de presse et blogs, vidéos, forums ; annonce 375 587 blogs et sites d’actualités indexés

Progression de plus de 300 000, en un an… 4 modules spécialisés : Actualités, Shopping, Vidéos

et Forums Système d’onglets : revue européenne de blogs, sujet

d’actualité, Facebook Possibilité de personnalisation : « page perso. »

agrégation des billets et nouvelles, selon plus de 30 000 catégories

Technologie d’indexation sémantique classement des blogs « influents » par catégories,

selon le nombre de rétroliens ; voir http://www.wikio.fr/blogs/top/science

Nombreuses innovations technologiques : cf les Wikio Labs

voir notamment Backlink Factory


3.2 Moteurs spécialisés :moteurs d’actualités

Europe Media Monitor : portails d’information du Joint Research Center (JRC) de la Commission Européenne

Collecte, analyse, cartographie… de très nombreuses sources d’information, en 43 langues

Trois portails complémentaires : NewsBrief : actualité en temps réel NewsExplorer : analyse de l’information MediSys : information médicale + EMM-Labs


3.2 Moteurs d’actualités :Europe Media Monitor

NewsBrief : l’information en temps réel

Collecte sur + 4000 sites : 1600 portails d’information, 20 flux d’actualités

commerciales, sites spécialisés ; en 43 langues Surveillance quotidienne :

Mises à jour toutes les 10 mns Classement des informations Graphique des 10 derniers événements marquants Clusterisation : par thèmes, par Directions Générales de

l’UE Possibilité d’abonnements RSS, mais pas par rubriques


3.2 Moteurs d’actualités :Europe Media Monitor

NewsExplorer : analyse multilingue Analyse de l’information une fois par jour

Résumé des 20 faits marquants 19 langues

Nombreuses fonctionnalités : Carte des lieux de l’actualité Analyse des actualités : tous les articles sur un sujet… Chronologie des événements Fiches sur personnalités Visualisation des relations entre personnes Recherche rétrospective sur les événements majeurs

d’un pays


3.3 Moteurs spécialisés : moteurs scientifiques

Moteurs spécialisés sur les ressources académiques :

JURN : moteur orienté Arts et Humanités, porte sur les revues en open access (anglais)

Fonctionne avec Google CSE 3400 titres indexés en novembre

2009 Sources principales : DOAJ,

NewJour, Open Access Newsletter

Scirus : orienté Sciences exactes, produit par Elsevier

Sources : Web, ScienceDirect, Bases de données (Medline…), Archives ouvertes, prépublications

410 millions de documents indexés Interface de recherche avancée très

complète

Positionnement des équipes de recherche

AuthorMapper (Springer)

Mise en contexte des mots clés

Exemplar

Moissonneurs OAI (Archives ouvertes) :

Base (Université de Bielefeld)

Scientific Commons


3.4 Moteurs spécialisés : moteurs de recherche de personnes

Essor des moteurs de recherche de personnes : Surveillance de la e-réputation

Principes : agrégation de nombreuses sources (moteurs, blogs, annuaires, réseaux sociaux…) contenant des traces sur ou laissées par une personne

Nombreux moteurs : 123People Pipl Whozat? Intelius Winck YoName

Voir liste de 15 moteurs sur emandarine Des extensions Firefox :

Who is this person ?


3.5 Autres moteurs spécialisés selon la nature du contenu

Pour trouver :

Des informations sur les entreprises : Kompass, Accoona, Societe.com

Des informations sur les produits : Kelkoo

Des offres d’emploi : Moovement.fr, Monster

Des sites, des villes, des organisations géolocalisées : Geolocalisation (France)

Des informations sur un secteur thématique : Moteurs sectoriels, ex : e-justice

Des sites similaires : Similar Site Search

Les tendances sur le web : Wasalive



3.6 Moteurs spécialisés :selon la nature du « média »

Pour trouver :

Des images : Les modules images des moteurs : Exalead

Images, Yahoo Images Picsearch

Des vidéos : Modules vidéos issus ou dérivés des moteurs

généralistes : Exalead Vidéos, Voxalead News Blinkx

Recherche en texte intégral sur des émissions de télé et de radio grâce à un système de reconnaissance vocale

Des musiques : Midomi


3.6 Moteurs spécialisés :selon la nature du « média »

Pour trouver :

Des sons : FindSounds

Des diapositives : SlideFinder

Des fichiers PDF : PDFGeni.com


PLAN

4/ Moteurs en temps réel : Critères du temps réel Intérêt Un exemple : Social Mention Search


4.1 Moteurs en temps réel : caractéristiques Collecte, indexation, ou recherche en temps réel ?

Distinguer par ex. de la recherche instantanée: Google Instant, Yahoo Réactualisation très rapide de l’index

Essor des moteurs en temps réel, avec : Syndication de contenus News des médias Réseaux sociaux Et surtout Twitter et micro-blogging

Nombreux moteurs autonomes, intervention des géants G, Y, B

Demande d’instantanéité : Mais effets pervers du temps réel


4.1 Moteurs en temps réel : caractéristiques

Principaux critères, selon Comparatif de 14 moteurs, de C. Deschamps : Nombre et type de sources collectées Représentation graphique des données :

Graphiques de tendances… Possibilité d’abonnement aux flux RSS par

requêtes Défilement de l’information en temps réel


4.2 Moteurs en temps réel :intérêt

Suivi de l’actualité en temps réel : Exemple sur SocialMention, Collecta

Suivi d’un thème sur Twitter, les réseaux sociaux…

Nouveaux outils de veille sur un sujet, une personne… Voir Stickytter : outil de veille en temps

réel Analyse, représentation de l’information


4.3 Moteurs en temps réel : exemple de Social Mention Search

Moteur social de recherche en temps réel, veille sur les réseaux sociaux

Nombreux atouts : Diversité et nombre de sources indexées :

Blogs et commentaires de blogs, Twitter… Plateformes de partage de signets Sites de news généralistes Images, vidéos, audio Questions-réponses

Interrogation avancée, possibilités de filtrage Affichage enrichi des résultats : tris, graphiques… Affichage des « tendances » : volume de recherches sur les

requêtes « E-réputation » : tri des résultats selon leur caractère

« positif », « négatif » ou « neutre » sur le sujet de requête Possibilité de syndication de contenus, d’alertes… Inconvénient : lenteur !


4.3 Moteurs en temps réel : autres moteurs

Collecta : Collecte de blogs, de photos, de

micro-blogging, vidéos, réseaux sociaux

Affinement possible : sur photos, vidéos, blogs…

Simplicité d’utilisation Peu de fonctionnalités


PLAN

5/ Moteurs participatifs : Moteurs personnalisables Moteurs contributifs

Critère : implication des internautes


4.1 Moteurs «participatifs » :moteurs personnalisables Des moteurs “sur mesure” / recherche

verticale

Choix par l’internaute du périmètre des recherches : ensemble donné de sites web, thématique précise, type d’informations

Compte gratuit Système de veille

Des plateformes ouvertes / API de recherche

Création de moteurs à la demande Personnalisation dans la page de résultats (ajouts,

tri, présentation)


4.1 Moteurs «participatifs » :moteurs personnalisables Secteur investi par les “grands

moteurs” : Google CSE : Google Custom Search Engine Yahoo : Interface utilisateurs Alpha

Pour les développeurs : Yahoo : Yahoo! Search Boss

Mais aussi par d’autres acteurs :

Créer son moteur personnalisé avec : Rollyo : http://www.rollyo.com/ Les Swickis d’Eurekster :

http://www.eurekster.com/


4.2 Moteurs «participatifs » :moteurs « contributifs »

Enrichissement de la recherche par les internautes

Yoople Avec Yahoo Procédure hybride : Intervention dans le classement des

résultats Yoople factor Problème de la manipulation à grande échelle des résultats

Yoono Plugin pour navigateur (Firefox, Chrome) + version Desktop Fondé sur les favoris internet des utilisateurs 4 fonctions : gestionnaire avancé de favoris; moteur pour

accélérer les recherches thématiques; lecteurs RSS; espace communautaire

Questions réponses avec WikiaAnswers


5.1 Les moteurs de recherche sémantique

Hakia : Lancé en 2006 moteur de requêtes en langage naturel mélange d'analyse sémantique,

d'ontologie, de logique floue et d'intelligence artificielle

Affichage des résultats par types de sources : web, Twitter, vidéos…

Et aussi : Wolfram Alpha, Kngine, EntityCube …


6.1 Présentation des résultats : moteurs visuels, cartographiques

Moteurs visuels : = Améliorations apportées à la liste linéaire de résultats

Aperçus graphiques sur Exalead Vignettes et aperçus des sites en parallèle à la liste des

résultats Nuage de mots clés : Quintura

Moteurs (carto)graphiques : Clusters : Cluuz Cartes interactives : Flokoon, Webbrain (sur l’Open

Directory) « Un moteur de recherche graphique pour appuyer la

sérendipité » (C. Deschamps) : Spezify


En guise de conclusion ;)

Google sans Google : pour sortir de (et retourner à) Google tout à la fois : http://forum.webrankinfo.com/les-paro

dies-les-autres-google-t4172.html…

Education

Outils de recherche du web hors Google