Wito Böhmak

Session: Forschungsdaten in den Humanities (S164)

Erstellung wissenschaftlich nachnutzbarer Volltexte für Präsentation und Analyse am Beispiel obersorbischer Drucke
W. Böhmak¹, R. Sachunsky², K.-M. Würzner^3
1Sorbisches Institut e.V., Sorbische Zentralbibliothek / Sorbisches Kulturarchiv, Bautzen, Deutschland, ²Sächsische Landesbibliothek – Staats- und Universitätsbibliothek Dresden, Referat Digitale Objekte, Dresden, Deutschland, ³Sächsische Landesbibliothek – Staats- und Universitätsbibliothek Dresden, Referat Open Science, Dresden, Deutschland

Abstract Text: Im Rahmen des sächsischen Landesdigitalisierungsprogramms wurden in den letzten Jahren signifikante Teile des historischen obersorbischen Schrifttums gescannt. Diese Dokumente liegen jedoch großteils nur als Bilddigitalisate ohne maschinenlesbaren Volltext vor, was ihre Nachnutzbarkeit im wissenschaftlichen Kontext stark einschränkt. Die Herausforderung dieser Bestände liegt u.a. in der speziellen Kombination aus Fraktur und den slawischen Diakritika im sorbischen Druck, für die es bisher noch keine verlässliche automatische Texterkennung (OCR) gibt.
Aufbauend auf einer Studie zum gezielten Training von OCR für obersorbische Drucke (siehe Programm zum 109. Dt. Bibtag 2020) wurde in einem Pilotprojekt des Sorbischen Instituts in den letzten Monaten ein produktiver Workflow etabliert. Dieser umfasst 1. die manuelle Erstellung von Ground Truth (GT), 2. das systematische Training entsprechender OCR-Modelle, 3. die automatische Prozessierung von Digitalisaten zu Volltext, 4. die Generierung von ALTO-XML zur digitalen Präsentation und 5. von TEI-XML z.B. für digitale Editionen und korpuslinguistische Auswertungen. Fokus ist dabei die stetige Qualitätsverbesserung (d.h. Minderung der durchschnittlichen Fehlerrate ebenso wie systematischer Schwächen) durch iterative Erweiterung des GT um zusätzliches Material und Optimierung der extrahierten im Training benutzten Zeilenbilder. Als Werkzeuge werden vorrangig Open-Source-Systeme eingesetzt: die OCR-D-Softwaresuite (mit dem PAGE-XML-Format als Träger der Bild-Text-Zuordnung) für automatische Workflows, die Programme Aletheia und LAREX für manuelle Transkription und Kitodo für die Bereitstellung der digitalen Objekte.
Im Vortrag erläutern wir unsere Vorgehensweise zur Qualitätssteigerung der Obersorbisch-OCR und diskutieren anhand von Referenzbeispielen die Möglichkeiten und Grenzen des Workflows. Ergänzend thematisieren wir Erfahrungen mit der OCR zweisprachiger Drucke und deren Übertragbarkeit auf weitere slawische Sprachen.

Tweet

Session: Präsentation und Erschließung von digitalem Content (S86)

Die Qualität der Ergebnisse automatischer Zeichenerkennung (OCR) hängt primär von der Passung der der OCR zugrundeliegenden Modelle und der jeweiligen Vorlage ab. Sowohl kommerzielle als auch freie Software erlauben dem Nutzer aus einer Anzahl vortrainierter Modelle das passendste auszuwählen. Die Modelle werden mit Hilfe von vorhandenem, fehlerfreiem Volltext für eine Sprache oder einen Schrifttyp trainiert. Aus ökonomischen Gründen beschränkt sich die Modellauswahl auf häufig verwendete Sprachen und Schrifttypen.
In der Vorbereitung der Digitalisierung dreier obersorbischer Zeitungsunternehmungen haben wir sowohl eine kommerzielle (ABBYY Recognition Server) als auch eine freie OCR-Software (Tesseract) auf ihre Eignung für die Erzeugung wissenschaftlich nachnutzbarer Volltexte getestet.
Obersorbisch ist eine in der Oberlausitz von etwa 20000-25000 Menschen gesprochene westslawische Sprache, für die es nur wenige (computer-)linguistisch nutzbare Daten gibt.
Die adressierten Zeitungen sind primär in Fraktur gesetzt. Deren Kombination mit slawischen Diakritika stellt eine Besonderheit dar, die von verfügbaren OCR-Modellen nicht abgedeckt wird. Sowohl ABBYY Recognition Server mit dem Modell Altdeutsch/Gothic als auch Tesseract mit dem sprachunabhängigen Modell Fraktur erzielten daher schlechte Erkennungsraten (Zeichenfehler, CER ABBYY: 12-17 % bzw. Tesseract: 8-11 %).
Ein großer Vorteil von Tesseract ist die Möglichkeit, eigene OCR-Modelle zu trainieren bzw. vorhandene auf spezifische Vorlagen anzupassen. Um uns dem Ziel hochqualitativer Volltexte anzunähern, haben wir daher das Modell Fraktur mit Hilfe von 47 Seiten feinjustiert und auf weiteren 10 Seiten evaluiert. Mit einer CER zwischen 3,7 und 0,5 % zeigte sich ein deutlicher, positiver Trainingseffekt.
Im Vortrag erläutern wir die einzelnen Schritte, die von Text und Bild zum fertigen OCR-Modell führen und diskutieren Möglichkeiten und Grenzen für den produktiven Einsatz in der bibliothekarischen Praxis.

Kay-Michael Würzner¹, Wito Böhmak^2
1Sächsische Landesbibliothek – Staats- und Universitätsbibliothek Dresden, Digitale Objekte, Dresden, Deutschland, ²Sorbisches Institut, Sorbische Zentralbibliothek und Sorbisches Kulturarchiv, Bautzen, Deutschland

Tweet

Other people: Kay-Michael Würzner