Migration d’Exalead versApache Solr à l’IFCE

CÉDRIC ULMER, PRÉSIDENT - FRANCE LABSALBAN FERIGNAC, CHEF DE PROJET - IFCE

SEARCH’DAY - NOVEMBRE 2014

AgendaIFCE

• L’organisme

• L’outil de recherche sous Exalead

• Les raisons de la migration

• Les besoins techniques et fonctionnels

Apache Solr: Pourquoi et comment ?

• L’open source à la rescousse

• Mise en oeuvre du projet

• Informations techniques

• Statu quo de la migration

IFCE: les prochaines étapes

France Labs: Qui sommes-nous ?

IFCE

Institut Français du Cheval et de l'Equitation (IFCE)

Issue du regroupement Haras nationaux et cadre noir en 2010

~ 900 Employés

Missions ?

Nombreux sites

IFCE – La recherche avec Exalead

Rechercher dans divers modules de notre coeur de métier

Chevaux

Eleveur

Démarches

Site web

Besoin des éleveurs et du milieu de la compétition hippique

Mettre en valeur notre site de consultation des données “cheval”

IFCE – Les raisons de la migrationManque de Maitrise

Pas de communauté

Besoin du support ou d'une prestation pour le moindre soucis

Coût

75K€ pour 6M de documents

15K€ annuel de support

Support

Manque de réactivité sur des bugs bloquants

Politique

Mise à jour majeur payante

Demande du ministère de se tourner vers l'open source.

IFCE – Quelques chiffres

1.250.000 pages vues / mois

130.000 visiteurs uniques / mois

~ 3.000.000 chevaux

~ 1.200.000 personnes

IFCE – Besoins techniques et fonctionnels

Périmètre fonctionnel constant

Temps de réponse moyen par requête < 300 ms

Temps de mise à jour à l’ajout d’un cheval < 10 sec

Stabilité > 98%

Capacité de gérer 10 millions d’entrées

Temps pour l’indexation complète < 3h

IFCE – Les fonctions de recherche

Recherche multi-catégories (poulains, contacts, chevaux, formulaires…)

Recherche multi-types (pdf, base de données, html, doc…)

Faceting (profil, pays, races…)

Pagination / tri produits

Recherche full texte

Apache Solr – Moteur de recherche open source

Open Source: rappel

Liberté d’exécuter le programme, pour tous les usages

Liberté d’étudier le fonctionnement du programme et de l’adapter à ses besoins

Liberté de redistribuer des copies du programme

Liberté d’améliorer le programme et de distribuer ces améliorations

Apache Solr – Moteur de recherche open source

Créé en 2006

Géré par la fondation Apache

Surcouche de l’API Java Lucene, moteur ultrapopulaire

Moteur de recherche scalable horizontalement (clusterisation)

Compatible Big Data

Déjà de nombreux exemples de migrations vers Solr (notamment depuis FAST)

Apache Solr – Capacités

Peut gérer plusieurs milliards de documents

Gestion de nombreux types de documents (pdf, word, xls, zip, images, mp3, open office…)

Système de plugins pour les améliorations

Autocompletion, correction orthographique, suggestion

Multilingues

Clustering

Schéma dynamique

Quasi temps réel

Apache Solr - Autocomplétion

Apache Solr – correction orthographique

Apache Solr: recommandations

Solr@IFCE: mise en œuvre du projet

“D’abord le moteur, ensuite les fonctionnalités”

Migration vers Solr démarée en Juillet 2014 pour 4 collections (~5 Millions de docs)

Recette terminé en décembre 2013

Mise en production en février 2014 pour les 4 collections

Ajout de la base Equide comme collection supplémentaire en juillet 2014

Un chef de projet côté IFCE (20%), un expert Solr côté France Labs (100%)

Budget total de 15K€

Solr@IFCE: informations techniques

5 millions de documents indexés

Taille de l’index : 3 Go

Stabilité: 99%

Nombre de champs: 170 pour les chevaux

Hardware: VM avec 4 procs, 12 Go RAM dont 4 pour la JVM

Index en mémoire

Data Sources

Moteur de recherche

Front end

Admin UI

Pipeline d’indexation

DB Oracle

Site web

Apache Solr 4

IFCE – Architecture

DIH

Core 1

Core 4

ManifoldCF

Solr@IFCE: statu quo

Périmètre fonctionnel conservé

Réduction drastique des coûts

Esprit de partage grâce à l’open source

Réalisation du POC pour SolrCloud, démarrée en août 2014. Fin prévue en décembre 2014.

Solr@IFCE: prochaines étapes

Passage à SolrCloud pour la section Chevaux de Haras Nationaux (4 millions de chevaux)

Passage à SolrCloud pour toutes les sections de Haras Nationaux (50 millions de documents)

Hardware prévu: 3 VM, 50 M de docs et 9 shards (replication x3)

Moteur interne à l’IFCE

Vision à 3 ans : Géolocalisation, ...

France Labs – Nos prestations

Formation Consulting

Installation

Editeur logiciel

France Labs – Notre présence

Clientèle européenne, grands comptes comme TPE.

Participation active dans l’écosystème

• Local : commission open source de Telecom Valley, Tech Conf, RE:Conf

• National : organisateur de l’Enterprise Search Meetup à Paris, interventions au Search Day

• International: interventions à Enterprise Search Europe.

Datafari – notre solution complète de recherche – est disponible en open source, licence Apache

DES QUESTIONS ? (mais que représente le logo de France Labs ?!)

A VOTRE DISPOSITION AUJOURD’HUI

CEDRIC.ULMER@FRANCELABS.COM@FRANCELABS