Nachricht | 17. Mai 2022

Weiterentwicklungen in prometheus

Im prometheus Bildarchiv wurden Weiterentwicklungen durch den Aufgabenbereich Forschungswerkzeuge und Datendienste abgeschlossen.

Bildähnlichkeitssuche

Es wurde eine Bildähnlichkeitssuche mithilfe von Bildvektoren, die auf Basis des Self-supervised Learning Algorithmus SwAV (Swapping Assignments between Views) erstellt worden sind, integriert. Der Algorithmus ist in Caron et al. beschrieben, eine Implementation wird von Facebook bereitgestellt. Als Modell wurde ein mit dem ImageNet Datensatz vortrainiertes SwAV Modell verwendet. Resultierende Bildvektoren, die auf für das Ergebnis ausreichende 80 Dimensionen beschränkt wurden, wurden für alle Bilder im Bildarchiv vorberechnet und im Index gespeichert.

Die Anfragen der Suchmaschine reduzieren sich damit auf die Berechnung der Distanz zwischen den im Index gespeicherten Vektoren. Die geringste Distanz kann entweder durch den euklidischen Abstand, die Kosinus-Ähnlichkeit oder die Manhattan-Distanz berechnet werden. Zur Berechnung der Distanz wird der euklidische Abstand verwendet, eine Evaluation der verschiedenen Verfahren wird im nächsten Schritt erfolgen. Des weiteren wird eine Hintergrundberechnung der Vektoren als nebenläufiger Prozess implementiert, um diese in den Indexierungsprozess zu integrieren. Die Bildähnlichkeitssuche ist nun auch auf dem Produktionsserver verfügbar und für die Öffentlichkeit nutzbar.

Integration weiterer Formate

Der 3D-Viewer von kompakkt (Code hier) und die entsprechenden Metadaten zu den 3D-Objekten wurden nun in prometheus integriert. Der neue kompakkt-Index enthält Datensätze mit einer iframe_url, die dann von der Anwendung gerendert wird. Der iframe enthält das kompakkt-Widget, um das 3D-Objekt zu navigieren. Für die Anzeige der Ergebnisliste lässt sich zudem ein Vorschaubild abrufen.