Dieses Werk ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.

Umstellung auf Solr 7 Kathleen Neumann (VZG)

Agenda

• Von Lucene zu Solr – ein Rückblick

• Versionsunterschiede & Motivation umzusteigen

• Vorstellung der neuen Strukturen & Begrifflichkeiten

• Was hat sich für den Anwender geändert?

• Erste Erfahrungen

• Ausblick

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-

Anwenderworkshop 2018 Folie 2

Solr-Unterstützung - Rückblick

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Folie 3

2012 2014 2016 2018

2.1.80 - Beta 1 Einführung der Solr-Komponente, ausschließliche Nutzung in Jena

Lucene Legacy Im LTS2013 wird SOLR fester Bestandteil und ein Lucene-Migration-Weg wird mitgegenem

LTS2014 Lucene gelöscht Lucene-spezifische Logik aus dem MyCoRe-Kern entfernt und über separaten Lib verfügbar.

Solr 4 Anwender migrieren nach und nach von Lucene auf Solr

Solr 4.10 MyCoRe bietet ein MyCoRe-spezifisches Solr-WAR-Archiv zum Download an

Solr 4.10 Auch weiterhin bleibt Solr-seitig alles stabil …

Solr 7.4 … Zeit für einen Versionwechsel, das LTS2018 erscheint mit Solr7-Unterstützung

Versionsunterschiede – erster Blick

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Folie 4

• Version: 4.10 7.4 • Anzahl Kerne: 18 17 • RAM-Nutzung: ~300MB ~800MB (im Leerlauf) • Laufzeit: WAR im Tomcat Service (auf Jetty-Basis)

• Ersteindruck: Solr 7 ist schnell installiert und gestartet, sieht in der GUI sehr

ähnlich aus, ist aber deutlich speicherhungriger als sein Vorgänger

Warum der Umstieg?

• Umstieg auf Solr brachte Rückschritt hinsichtlich Konfigurierbarkeit der Suchfelder

• Vorher: searchfields.xml in verschiedenen MyCoRe-Komponenten und Anwendungsmodulen

• Nachher: genau eine schema.xml und solrconfig.xml im Solr-WAR -> musste händisch angepasst, erweitert und migriert werden

• Daher: Suche nach einer Lösung, um Suchfelder wieder da zu platzieren, wo sie gebraucht werden

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Folie 5

Neue Strukturen

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Folie 6

[MyCoRe-Solr-Konfiguration für v4.10 in separatem Maven-Modul]

[Solr-Basiskonfiguration für v7.* in MyCoRe-Solr-Komponente]

[MODS-Suchfelder für v7.* in MyCoRe-MODS-Komponente]

[Anwendungs-Suchfelder für v7.* am Beispiel MIR]

Begrifflichkeiten

• Configuration Set vorgefertigte MyCoRe-Templates für Solr-Kern

• Core Configuration Type Art der Konfiguration – von MyCoRe vorgegebene sind:

– Main Standard-Kern für die Anwendung, enthält Objekt- & Derivat-Index

– Classification Klassifikationsindex z.B. für Klassifikationseditor od. Autovervollständigung im xEditor

• CoreID fiktive ID, die in der Konfiguration festgelegt wird um den jeweiligen Core zu in der Anwendung zu bezeichnen

• CoreName echter Name des Solr-Kerns

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Folie 7

UseCase – Registrieren versch. Kerne

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Folie 8

Solr-Server #1 Solr-Server #2

• Main-Core: repper_main perspectivia_main • Classification-Core: repper_class perspectivia_class

• mycore.sh register solr core with name {core_name} as core {core_id}

register solr core with name repper_main as core main

register solr core with name perspectivia_main as core main

register solr core with name perspectivia_main as core main_new

rebuild solr metadata index in core main

rebuild solr metadata index in core main_new

Erste Erfahrungen

• Bessere Datumssuche mit solr.DateRangeField

– 2000-11 sucht im gesamten November 2000

– [2014 TO 2014-12-01] sucht von Anfang 2014 bis zum 1.12.24

• TIKA-Integration

– In Solr integriertes TIKA ist kein „Best Practice“ -> besser eigenen TIKA-Server für Volltextindizierung

– In Solr 7 mitgelieferte TIKA-Libs verursachen Memory-Leaks -> Patching notwendig!

• Viele Solr-Features und Neuerungen sind noch nicht erarbeitet und in den Anwendungen entsprechend noch nicht genutzt -> das ist erst der Anfang!

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Folie 9

Was hat sich für den MyCoRe-Anwendungsentwickler geändert?

• Multicore-Unterstützung mit verschiedenen Typen, auch eigene Typen möglich (Stichwort: configsets)

• Alto-Unterstützung reimplementiert

– Keine separate lib mehr nötig – alles mit Solr-Boardmitteln implementiert im MyCoRe-Kern

– Xml-Dateien werden nun indiziert (z.B. mets.xml)

• Delta der Suchfelder und Konfiguration wird in json-Dateien gepflegt

• Blacklist der RequestHandler in LTS2017 -> Whitelist ab LTS2018

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Folie 10

Ausblick

• Stärkere Nutzung neuer Features

• Umstellung auf kommendes Solr-LTS für langfristige Stabilität (siehe Solr 4.10 …)

– aktuelles Release 7.*

– aktuelles LTS Solr 6.4.*

– Wechsel auf LTS, sobald nächste Versiom erscheint (derzeit kein Releaseplan auf Solr-Seiten zu finden)

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Folie 11

14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018

Vielen Dank für Ihr Interesse!

Folie 12

http://www.mycore.de/ info@mycore.de

Kathleen Neumann

Verbundzentrale des GBV (VZG)

kathleen.neumann@gbv.de