Einige Dinge, die uns für NFDI4Culture am Herzen liegen – Oder: Wir wollen bessere Werkzeuge und Workflows für das Annotieren von Bildern und 3D-Modellen!

ein Beitrag von Ina Blümel, Lucia Sohmen und Lambert Heller 

Die Nationale Forschungsdateninfrastruktur (kurz NFDI) ist ein Förderprogramm der Gemeinsamen Wissenschaftskonferenz (GWK), in dem Konsortien aus verschiedenen Fachbereichen die Qualität und Zugänglichkeit von Forschungsdaten verbessern sollen. Die TIB ist bisher an drei erfolgreichen Anträgen beteiligt. Das Open Science Lab vertritt die TIB im Konsortium NFDI4Culture, das die Fächer Architektur, Kunstgeschichte, sowie Musik- und Medienwissenschaften abdeckt.

Im Kontext unserer NFDI4Culture-Arbeitspakete beschäftigen wir uns unter anderem mit der Bündelung und Fortschreibung aktueller Entwicklungen rund um das Kommentieren und Beschreiben von digitalen Kulturdaten, zum Beispiel von Bildern und Bildinhalten: Annotationen. 

Geht es uns dabei wirklich nur um Bilder? Nein, auf Dauer kann und soll es auch um andere Objekttypen gehen – im Kontext von NFDI4Culture insbesondere auch um Musiknotationen, Audioaufnahmen, Filme, Tanz- und Theaternotationen sowie 3D-Modelle. (Letzteres liegt uns auch deshalb am Herzen, weil wir für die Architektur in NFDI4Culture stehen.)

Vieles spricht dafür, Ansätze und Werkzeuge, die es im Bereich der Bild- und 3D-Annotation bereits gibt, so früh wie möglich den diversen Fachcommunities von NFDI4Culture zugänglich zu machen, und sie zusammen mit ihnen weiterzuentwickeln. Wir wollen dafür sorgen, dass vieles von dem, was dabei entsteht, sehr bald auch der Auseinandersetzung mit mindestens den oben genannten anderen Objekttypen zugute kommen wird.

1. Über die neutrale (sozusagen enzyklopädische) Beschreibung von Bildern und allgemeine Bestimmung von Bildinhalten hinaus glauben wir, dass Bildannotationen von allen Bildinteressierten mühelos in verschiedenen Kontexten kommunizierbar gemacht werden sollten – von der informellen Beschreibung für die eigene Peer-Group oder der Beschreibung im geschützten Raum eines Kurses (Szenarien, wie sie für Texte zumBeispiel von Hypothes.is vorbildhaft unterstützt werden), bis hin zur zitierbaren Mikro-Publikation – letzteres entweder dezentral und lediglich Web-Standards folgend oder identifizierbar gemacht durch zentral registrierte Identifier wie ORCID (für die Urheber*in der Mikro-Publikation) oder DOI (für die Mikro-Publikation selbst).
2. Wir  glauben, dass frei verfügbare neuronale Netze aus dem Bereich der Bilderkennung wie ein Werkzeugkasten im Workflow der Bildannotation zur Verfügung stehen sollten – zum Beispiel, um Annotierende auf Ähnlichkeiten zwischen Ausschnitten verschiedener Bilder aufmerksam zu machen, oder um Fachvokabular zu Beschreibung von Bildinhalten zu empfehlen. In diesem Zusammenhang erforschen wir unter anderem auch den Impact KI-unterstützter Vorschlagstools auf die Arbeit von Kulturdaten-Enthusiast*innen.
3. Verallgemeinerung des Ansatzes vom ISA-Tool auf Objekte, die (noch) nicht in Wikimedia Commons enthalten sind. Der Wikimedia-Community unterstützt hier ganz wunderbar Bildinteressierte mit einem einfachen Nutzerinterface dabei, passende Entities aus dem offenen, kontrollierten Vokabular von Wikidata zu finden, und aus diesen Entities semantisch strukturierte, gewichtete Statements insbesondere über Bildgegenstände zu bauen sowie einfache, mehrsprachige Bildbeschreibungen zu erfassen. In einem unserer 4Culture-Vorläuferprojekte haben wir bereits Werkzeuge für die Bildannotation entwickelt.
4. Offene, kontrollierte Vokabulare wie Wikidata könnten in Zukunft um speziellere, fachspezifische Vokabulare wie Iconclass ergänzt werden – auf Basis von Wikibase, als Teil einer vernetzten Community fachspezifischer Wikibase-Instanzen innerhalb und außerhalb von NFDI. Wir sehen uns bestätigt und inspiriert vom Enthusiasmus der NFDI-Community über Wikibase. Darüber wollen wir hier sehr bald noch mehr bloggen. Bereits jetzt haben wir in Projekten wie GESAH gute Erfahrungen damit gesammelt, Fachcommunities eine Palette passender Vokabulare zur Beschreibung von Bildobjekten zur Verfügung zu stellen. Mit diesem Ansatz wollen wir das volle Potential des Open Research Knowledge Graph auch für kulturelles Wissen nutzen.
5. Wir glauben, dass Standards wie IIIF dabei helfen, Annotationen punktgenau mit Bildinhalten oder Bildausschnitten zu verknüpfen, was unter anderem dabei helfen könnte, neue Wege der Kuratierung und Wiedergabe ausgewählter Bildinhalte zu unterstützen. Auch im bereits erwähnten Projekt GESAH sammeln wir bereits Erfahrungen mit IIIF-Viewern für Digitalisate.
6. Wir gehen davon aus, dass offene Standards zur Content-Identifikation wie insbesondere der ISCC dabei helfen werden, Annotationen portabel zu machen. Eine Annotation, die bezogen auf eine Fotografie eines Gemäldes gemacht worden ist, kann bereits heute mit hoher Sicherheit mit einer anderen Fotografie des Gemäldes gematcht werden. Das erlaubt es zum Beispiel, sie im Kontext von Wikipedia oder einer Museums-Website automatisiert heranzuziehen, zu zeigen und nachzunutzen – vorausgesetzt, die Annotation selbst ist frei lizenziert, was im Annotationsworkflow ohnehin stets vorgeschlagen werden sollte. Zudem sollten Benutzer*innen Annotationen idealerweise in der ihnen vertrauten Umgebung vornehmen können, wo immer diese sich befindet – und gleichwohl ihre Annotationen leicht im Web auffindbar und nachnutzbar durch Dritte machen können.
7. Wir haben bemerkt, dass insbesondere für 3D-Modelle das schrittweise Beschreiben und Ergänzen von Modellen und das Sichtbarmachen solcher Anreicherungen ein Anwendungsszenario ist, das zwar schon seit Längerem untersucht, aber noch bei weitem nicht so verbreitet und zugänglich ist, wie es für gemeinschaftliche kreative Prozesse zu wünschen wäre. Der Einsatz von Machine Learning kann hier zusätzlich hilfreich sein, um zum Beispiel Fotos und Skizzen mit vorhandenen Modellen visuell zu kombinieren.

Ina Blümel

Stellvertretende Leitung Open Science Lab und HsH-Professur für Vernetzte Daten in der Informationswissenschaft