Transcript
Page 1: CONCERT IMPACT by Lotte Wilms

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

date KB IMPACT Demo Dag 16 februari 2011

IMPACT Cooperative Correction - CONCERTLotte Wilms, Koninklijke Bibliotheek

Page 2: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Bekend gezicht?

"... tte->e°n.m.66-..ie k>okke cire-5^ea. ver.è. 6.or ^ ^ ^ °

kiesrellj-oe-ikei^, v-in eeo ^elj-escdapeo ^UOI^, 7

^n>5«--'-/-r. veel8-Iiec-jc ttui5vroll^ v,a 'z » ^ v e . X. «. ^ ^ I» 2 L t. L ^-i ? > " Z Z^

l»v«e».ic. sx ^ ^ , 6en 2 l8c«. Leb. ^ L I L I tZ.

6eo zc> ^pr>!, >«(ZS. 8 O II 0 v ? L W. . L^-L"

. . ^ ... ,. , ^,a «ore Vrienilea ea Lekenaêll zeven dy aeeea ^^

^ LLQ d2i« 4 urea, 18 myoe ttuisvi-ouiv, van Kenoi5, Sis asr 0v?e darlelvk >zetief6e Vscier', ?. L08, op L

«eea vel.^esckspLa ^5^()I>Z verlof. Ke6ed w»cj6zZ reo l2urev, as eev Verval vsn ^evev^drscdceo, ^ ^ ^ "A.

Oevki>i7L«., K0>.^^Q8N()VL^, secZerr z ''Vckev öeclle^ri^ te , jv6evou6er6oru " ^

<Zen Zv ^pri!, 1806. ^x>0lè:ecsr. vsv dyQ!l 92 ^sr^n, ker ^clelvke vzet det Leu^visie vervvzilelc! 'O L ^ ^ ^ '-

".' «eckea mi6ck»z ruim êên uur verlatte ovvorfpieck-z. i>«kl. ^0-6 k»rskter verdeaxSe »Ue ryve iiinöeren en L--»S « > I L^Z

Page 3: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Achtergrond Gebruikers verwachten accurate en gestructureerde tekst voor (onder)zoek(en).

Typische OCR kwaliteit ligt tussen 50% - 90% op woord niveau, terwijl post-correctie meestal veel tijd en geld kost.

Handmatig corrigeren van OCR resultaten op grote schaal is te duur.

Wellicht kunnen vrijwilligers meehelpen met het corrigeren van slechte OCR resultaten?

Er zijn veelbelovende voorbeelden!- Distributed Proofreaders (Project Gutenberg)- Australian Newspaper Digitisation Project (NLA)- Wikisource (BnF)- Digitalkoot (National Library of Finland and Microtask)

Page 4: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Voorbeeld 1: Distributed Proofreaders 18,000 titels getranscribeerd

4,000 geregistreerde gebruikers

1,000 gebruikers wekelijks actief

Maar:

Alleen transcriptie van volledige pagina = niet efficiënt

Alleen platte tekst bestanden als output = beperkt gebruik

Page 5: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Voorbeeld 2: Australian Newspaper Project 12.5M regels getranscribeerd

9,000 geregistreerde gebruikers

Ondersteunt tags & comments

Maar:

Transcriptie per regel = nog steeds niet efficiënt

Verrijkte tekst als resultaat= Geen coördinaten, dus geen highlighting van zoektermen

Page 6: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Voorbeeld 3: Digitalkoot Gestart in februari 2011

4% van het huidige materiaal gecorrigeerd door Facebook gebruikers

Meer dan 3000 gebruikers

Maar: Relatief langzaam Minder efficiënt Alles wordt nog steeds

overgetypt

Page 7: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

CONCERT: Cooperative Engine for Correction of extracted Text

Sterke nadruk op productiviteit:a) Gebaseerd op OCR output – alleen twijfelachtige karakters. b) Zeer efficiënte post correctie via zogenaamde “carpets”c) Flow optimalisatie: karakter woorden pagina’s

Faciliteren van handmatig werk voor verschillende taken :a) Corrigeren van OCR resultaatb) Trainen van Adaptive OCR enginec) Verrijking van woordenboeken

Hogere productiviteit, meer motivatie!

Page 8: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Over de applicatie Web-based applicatie ter verbetering van de algehele workflow

efficiëntie

System Flow

Input: greyscale images

Output: ALTO of ALTO-ex (coördinaten van karakters)

Adaptive

OCR

Karakter

sessie

Woord

sessie

Pagina

sessie

Page 9: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Karakter sessie

Page 10: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Karakter sessie

Page 11: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Karakter sessie

Page 12: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Karakter sessie

Page 13: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Woord sessie

Page 14: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

Pagina sessie

Page 15: CONCERT IMPACT by Lotte Wilms

date KB IMPACT Demo Dag 16 februari 2011

IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.

15