Werkzeuge auf einem Holztisch

Werkzeuge auf einem Holztisch

"Werkzeuge auf einem Holztisch" CC0 Autor:in: Fleur, Besitzer:in: www.unsplash.com

Kontext des Projekts

Wikibase ist ein beliebtes Open-Source-Tool, das von Kultur- und Forschungseinrichtungen zur Speicherung und Strukturierung von Linked Open Data sowie von verschiedenen Mediendateien verwendet wird. Es ist Teil der Medienbetrachtungsumgebung (SemanticKompakkt), die im Rahmen von Aufgabenbereich1: Digitalisierung und Anreicherung entwickelt wurde, und Teil des Portfolios von Knowledge Graph Services, die in Aufgabenbereich 5: Technische, ethische und rechtliche Aktivitäten bei NFDI4Culture entwickelt wurden.
OpenRefine ist ein weit verbreitetes Tool zur Bereinigung von Tabellendaten und deren Verknüpfung mit Wissensdatenbanken, einschließlich Wikidata und Wikibase. Verwalter von Wikibase-Instanzen müssen dort regelmäßig Batch-Uploads und Bearbeitungen ihrer Daten und Mediendateien durchführen. Vor diesem Projekt unterstützte die Wikibase-Erweiterung von OpenRefine bereits Batch-Uploads und Bearbeitungen von/an Metadaten auf Wikidata und beliebige Wikibases. Der Flex-Funds-Preis ermöglicht es dem OpenRefine-Team, die bestehenden Funktionen von OpenRefine zu erweitern, indem es Unterstützung für den lokalen Upload von Medien in beliebige Wikibases und Unterstützung für benutzerdefinierte Datentypen integriert.
Dieses Projekt baut auf der bestehenden Arbeit an der Wikibase-Erweiterung auf, die durch einen Zuschuss der Wikimedia Foundation finanziert wurde. Diese unterstützt den Upload und die Batch-Bearbeitung von Dateien auf Wikimedia Commons (Wikimedia's Media Repository), aber noch nicht individuelle Wikibase-Installationen.

Leistungen

1) Batch-Upload und Batch-Bearbeitung von Mediendateien in Wikibases durch OpenRefine

Der OpenRefine Reconciliation Service für Wikimedia Commons wurde modifiziert und abstrahiert, so dass er verwendet werden kann, um OpenRefine mit jeder Wikibase-Instanz zu verbinden, nicht nur mit Wikimedia Commons. Als Ergebnis können Verwalter und Mitwirkende einer Wikibase-Instanz große Mengen (bis zu 10.000) von Mediendateien in eine beliebige Wikibase hochladen. Darüber hinaus können sie auch die (strukturierten) Metadaten der in ihrer Wikibase gespeicherten Mediendateien mit Hilfe von OpenRefine bearbeiten (ändern, hinzufügen, löschen).
Um dies zu ermöglichen, wurde auch die Funktion zum Hochladen von Mediendateien über OpenRefine geändert und flexibler gestaltet. Dazu gehört, dass OpenRefine den medienspezifischen neuen Datentyp "lokale Mediendatei" unterstützt, der in der Ziel-Wikibase verwendet wird.
Zu den weiteren Errungenschaften in dieser Hinsicht gehört eine klarere Schnittstelle zum Hinzufügen zusätzlicher Wikibase-Instanzverbindungen in OpenRefine und zum Umschalten zwischen mehreren verbundenen Instanzen. Die Schnittstelle zur Schemaerstellung (wo Metadaten vor dem Hochladen zu Dateien hinzugefügt werden) wurde ebenfalls an den Anwendungsfall der Arbeit mit einer Wikibase-Instanz gegenüber Wikimedia Commons angepasst.

2) Stapelverarbeitung von Daten, die in benutzerdefinierten (nicht-Wikidata) Datentypen in Wikibases gespeichert sind, durch OpenRefine

Verwalter und Mitwirkende einer Wikibase-Instanz können nun auch Daten in jedem beliebigen (benutzerdefinierten, atypischen) Datentyp, der in ihrer Wikibase definiert ist, mit Hilfe von OpenRefine (im Stapel) bearbeiten.
Um dies zu ermöglichen, wurde die Unterstützung von Wikibase-Datentypen in OpenRefine geändert und vielseitiger/flexibler gestaltet. Anfang 2022 unterstützt die Wikibase-Erweiterung von OpenRefine bereits alle Datentypen, die in Wikidata verwendet werden. Es gibt jedoch Fälle, in denen Wikibase-Manager benutzerdefinierte Datentypen implementieren/einsetzen wollen, die sich von den in Wikidata verwendeten Typen unterscheiden. Ein Beispiel ist der Datentyp für lokale Mediendateien (siehe oben). Ein weiteres Beispiel ist der EDTF-Datentyp in Wikibase, der spezifischer ist als der Wikidata-eigene Datentyp Time und der vom luxemburgischen Kulturministerium in Auftrag gegeben und eingesetzt wurde. Mit Unterstützung durch den FlexFunds wurde die Unterstützung von OpenRefine für Datentypen erweiterbar gemacht, so dass OpenRefine in Zukunft mehr Datentypen unterstützen kann, auch solche, die noch nicht entwickelt wurden.

3) Thumbnail-Unterstützung für Mediendateien

Zusätzlich zu den geplanten Funktionen 1) und 2) wurde die Unterstützung für die Anzeige von Miniaturansichten von (in einer Wikibase gespeicherten) Mediendateien innerhalb eines OpenRefine-Projektrasters neu implementiert. Diese gut sichtbare Funktion ermöglicht es Benutzern, die im Raster gespeicherten Metadaten mit der tatsächlichen Mediendatei zu vergleichen und Inkonsistenzen leichter zu erkennen.
Diese Funktion ist sowohl auf Wikimedia Commons als auch auf Wikibases von Drittanbietern verfügbar. Bei dieser Gelegenheit wurde auch ein Erweiterungspunkt in OpenRefine eingeführt, mit dem Plugins die Art und Weise, wie Projektzellen angezeigt werden, anpassen können, was den Benutzern eine weitere Möglichkeit bietet, das Tool besser an ihre projektspezifischen Bedürfnisse anzupassen.

4) Dokumentation und Verbreitung

Nach der Fertigstellung der oben genannten technischen Leistungen hat das OpenRefine-Team eine auf Endbenutzer und Entwickler ausgerichtete Dokumentation für die oben genannten Funktionen erstellt. Die Dokumentation ist hier zugänglich: https://en.wikiversity.org/wiki/Uploading_media_files_to_a_Wikibase_with_OpenRefine, und wird demnächst auch als Leitfaden über das NFDI4Culture Portal verfügbar sein.
Die neuen Funktionen wurden auch interessierten NFDI-Stakeholdern bei einem Treffen der Linked Open Data Working Group vorgestellt, das von Task Area 5 organisiert wurde. Die Sitzungsnotizen und Folien wurden später allen Mitgliedern der LOD-Arbeitsgruppe und den Abonnenten der Mailingliste zur Verfügung gestellt.
Im Rahmen dieses Projekts und in Zusammenarbeit mit dem OpenRefine-Team haben die Wikibase-Maintainer des Open Science Lab der TIB das langfristige Hosting und die Pflege der beiden Git-Repositories für die OpenRefine-Wikibase-Abstimmungsdienste übernommen, die für die Datenbearbeitung bzw. den Upload von Mediendateien erforderlich sind. Diese sind auf dem NFDI4Culture GitLab hier öffentlich zugänglich: https://gitlab.com/nfdi4culture/ta1-data-enrichment/openrefine-wikibase; und https://gitlab.com/nfdi4culture/ta1-data-enrichment/openrefine-wikibase-media.