elasticsearch 5.0les nouveautés
Mathieu ELIE@mathieuel
Présentation
• Mathieu ELIE• Consultant et formateur elasticsearch• Twitter: @mathieuel• Web: http://www.mathieu-elie.net• Tech freelance depuis 5 ans
Le stack à partir de 5.0
Le stack 5.0
• Toutes les versions callées sur le même numéro.
• Kibana 5.0 logstash 5.0 beats 5.0• X-pack: shields marvel etc… packagé sur tout
le stack.• Meilleur intégration de ses produits sur tout le
stack.
Lucene 6.0
Lucene 6.0
• Dimensionnal points• Numérique, date et géospatial• Half disk space• Index deux fois plus vite• Recherche: +25% de performance• Parfait pour le logging et les metrics
Ingest Node
Ingest node
• Filtre logstash comme grok, split….• Pas besoin de tout logstash sur de nombreux
use cases.• Applique des processeurs au moment de
l’indexation.• Index et bulk.
Painless scripting(with Painless !)
Painless
• Groovy disabled par défaut pour raisons de sécurité
• Nouveau langage enabled par défaut.• Conçut spécifiquement pour es• Donc plus sécure.• Plus performant.
Instant aggregations
Instant aggregations
• Cache ok même avec time.now• Query parser re-écrit• Donc plus de sécu et.• Plus de perfs avec du caching• Query cache enabled par défaut car gros gain
de perfs.
Text/Keyword to Replace Strings
Text / Keyword
• String -> full text | keyword comme tag, email. Domain name
• Text -> full texte et relevance• Keyword -> pour agrégations / filters. Doc
values.• Text: field data disabled / sécurité pour ne pas
loader toute la data en mémoire.
Text/Keyword to Replace Strings
Completion Suggester v2
Completion suggester v2
• Complètement re-écrit.• Prends en compte les documents supprimés.• Retourne des documents entiers.• Score: peuvent être ajustés.
Settings Validation
Settings validation
• Strictement validés.• Valide globalement / atomic.• Unset ! -> null• Les valeurs par défaut peuvent être
récupérées. ?include_defaults
Safety in production
Safety in production
• Bind localhost -> dev• Bind ip -> production• Local -> warn• Production -> do not start
Resilience
Resilience
• Beaucoup d’améliorations• File path name -> hash et pas index.• Cluster state / démarrage.
Migration Helper
Migration helper
• Aide à préparer la migration de 2.0 vers 5.0• Cluster checkup.• Re-index helper.• Deprecation logging.
Deleted Index Tombstones
Deleted Index Tombstones
• Au restart d’un cluster ->• Des indices deletés pouvaient re-apparaitre !• -> fixed
Indexed Scripts/Templates are now Stored
Indexed Scripts/Templates are now Stored
• Avant -> stocké dans un index.• Doit etre démarré avant les autres• -> cluster state
So long Environment Vars and thanks for all the fish
So long Environment Vars and thanks for all the fish
• Jvm.options• Ligne de commande re-factorée.
Safety Measures
Safety Measures
• Bootstrap ->• Check heap size correcte ->• Mmapfs nead virtual memory
Bootstrap Checks
Bootstrap checks
• Local -> warnings• Production -> stop
Indexing Performance
Indexing performance
• Travaux sur les locks• + 15 a 20 % sur l 'index des petits documents
grace aux locks de concurrent update• aussi des gains sur le fsync du transaction log
Dots in Field Names
Dot in fields name
• Removed in 2.0• En 5.0 -> se comporte comme un objet
(hiérarchie).
Shard Allocation
Shard allocation
• Failed -> possible -> mais ? Pourquoi ?• Api dédiée pour répondre à cette question.
Java REST client
Java REST client
• Client léger bas niveau.• Pas transport (protocole).• Moins de dépendences: code et version de
server.
Rollover indexing
Rollover indexing
• Gestion de time based indices.• Rollover index alias if too old or too big.• Shrink multiple shards to one shard.
Wait for refresh
Wait for refresh
• Wait for refresh a l’index.• Near real time !
Index creation friendly to sysadmins
Index creation friendly to sysadmins
• waits for the primay shard allocated before responding
• -> plus de red status furtifs -> plus d’alertes.
Netty4
Netty4
• Upgrade de la library de networking• -> super important mais risqué• Switch back netty 3.0 possible si bugs ou
autres problêmes.
Security improvements in X-Pack
Security improvements in X-Pack
• Plus simple pour gérer les certificats SSL• Outils helpers.
THE END
• Question ?• Follow @mathieuel