Einige Dinge, die uns für NFDI4Culture am Herzen liegen – Oder: Wir wollen bessere Werkzeuge und Workflows für das Annotieren von Bildern und 3D-Modellen!

ein Beitrag von Ina Blümel, Lucia Sohmen und Lambert Heller 

read this article in english

Die Nationale Forschungsdateninfrastruktur (kurz NFDI) ist ein Förderprogramm der Gemeinsamen Wissenschaftskonferenz (GWK), in dem Konsortien aus verschiedenen Fachbereichen die Qualität und Zugänglichkeit von Forschungsdaten verbessern sollen. Die TIB ist bisher an drei erfolgreichen Anträgen beteiligt. Das Open Science Lab vertritt die TIB im Konsortium NFDI4Culture, das die Fächer Architektur, Kunstgeschichte, sowie Musik- und Medienwissenschaften abdeckt.

Im Kontext unserer NFDI4Culture-Arbeitspakete beschäftigen wir uns unter anderem mit der Bündelung und Fortschreibung aktueller Entwicklungen rund um das Kommentieren und Beschreiben von digitalen Kulturdaten, zum Beispiel von Bildern und Bildinhalten: Annotationen. 

Geht es uns dabei wirklich nur um Bilder? Nein, auf Dauer kann und soll es auch um andere Objekttypen gehen – im Kontext von NFDI4Culture insbesondere auch um Musiknotationen, Audioaufnahmen, Filme, Tanz- und Theaternotationen sowie 3D-Modelle. (Letzteres liegt uns auch deshalb am Herzen, weil wir für die Architektur in NFDI4Culture stehen.)

Vieles spricht dafür, Ansätze und Werkzeuge, die es im Bereich der Bild- und 3D-Annotation bereits gibt, so früh wie möglich den diversen Fachcommunities von NFDI4Culture zugänglich zu machen, und sie zusammen mit ihnen weiterzuentwickeln. Wir wollen dafür sorgen, dass vieles von dem, was dabei entsteht, sehr bald auch der Auseinandersetzung mit mindestens den oben genannten anderen Objekttypen zugute kommen wird.

  1. Über die neutrale (sozusagen enzyklopädische) Beschreibung von Bildern und allgemeine Bestimmung von Bildinhalten hinaus glauben wir, dass Bildannotationen von allen Bildinteressierten mühelos in verschiedenen Kontexten kommunizierbar gemacht werden sollten – von der informellen Beschreibung für die eigene Peer-Group oder der Beschreibung im geschützten Raum eines Kurses (Szenarien, wie sie für Texte zumBeispiel von Hypothes.is vorbildhaft unterstützt werden), bis hin zur zitierbaren Mikro-Publikation – letzteres entweder dezentral und lediglich Web-Standards folgend oder identifizierbar gemacht durch zentral registrierte Identifier wie ORCID (für die Urheber*in der Mikro-Publikation) oder DOI (für die Mikro-Publikation selbst).
  2. Wir  glauben, dass frei verfügbare neuronale Netze aus dem Bereich der Bilderkennung wie ein Werkzeugkasten im Workflow der Bildannotation zur Verfügung stehen sollten – zum Beispiel, um Annotierende auf Ähnlichkeiten zwischen Ausschnitten verschiedener Bilder aufmerksam zu machen, oder um Fachvokabular zu Beschreibung von Bildinhalten zu empfehlen. In diesem Zusammenhang erforschen wir unter anderem auch den Impact KI-unterstützter Vorschlagstools auf die Arbeit von Kulturdaten-Enthusiast*innen.
  3. Verallgemeinerung des Ansatzes vom ISA-Tool auf Objekte, die (noch) nicht in Wikimedia Commons enthalten sind. Der Wikimedia-Community unterstützt hier ganz wunderbar Bildinteressierte mit einem einfachen Nutzerinterface dabei, passende Entities aus dem offenen, kontrollierten Vokabular von Wikidata zu finden, und aus diesen Entities semantisch strukturierte, gewichtete Statements insbesondere über Bildgegenstände zu bauen sowie einfache, mehrsprachige Bildbeschreibungen zu erfassen. In einem unserer 4Culture-Vorläuferprojekte haben wir bereits Werkzeuge für die Bildannotation entwickelt.
  4. Offene, kontrollierte Vokabulare wie Wikidata könnten in Zukunft um speziellere, fachspezifische Vokabulare wie Iconclass ergänzt werden – auf Basis von Wikibase, als Teil einer vernetzten Community fachspezifischer Wikibase-Instanzen innerhalb und außerhalb von NFDI. Wir sehen uns bestätigt und inspiriert vom Enthusiasmus der NFDI-Community über Wikibase. Darüber wollen wir hier sehr bald noch mehr bloggen. Bereits jetzt haben wir in Projekten wie GESAH gute Erfahrungen damit gesammelt, Fachcommunities eine Palette passender Vokabulare zur Beschreibung von Bildobjekten zur Verfügung zu stellen. Mit diesem Ansatz wollen wir das volle Potential des Open Research Knowledge Graph auch für kulturelles Wissen nutzen.
  5. Wir glauben, dass Standards wie IIIF dabei helfen, Annotationen punktgenau mit Bildinhalten oder Bildausschnitten zu verknüpfen, was unter anderem dabei helfen könnte, neue Wege der Kuratierung und Wiedergabe ausgewählter Bildinhalte zu unterstützen. Auch im bereits erwähnten Projekt GESAH sammeln wir bereits Erfahrungen mit IIIF-Viewern für Digitalisate.
  6. Wir gehen davon aus, dass offene Standards zur Content-Identifikation wie insbesondere der ISCC dabei helfen werden, Annotationen portabel zu machen. Eine Annotation, die bezogen auf eine Fotografie eines Gemäldes gemacht worden ist, kann bereits heute mit hoher Sicherheit mit einer anderen Fotografie des Gemäldes gematcht werden. Das erlaubt es zum Beispiel, sie im Kontext von Wikipedia oder einer Museums-Website automatisiert heranzuziehen, zu zeigen und nachzunutzen – vorausgesetzt, die Annotation selbst ist frei lizenziert, was im Annotationsworkflow ohnehin stets vorgeschlagen werden sollte. Zudem sollten Benutzer*innen Annotationen idealerweise in der ihnen vertrauten Umgebung vornehmen können, wo immer diese sich befindet – und gleichwohl ihre Annotationen leicht im Web auffindbar und nachnutzbar durch Dritte machen können.
  7. Wir haben bemerkt, dass insbesondere für 3D-Modelle das schrittweise Beschreiben und Ergänzen von Modellen und das Sichtbarmachen solcher Anreicherungen ein Anwendungsszenario ist, das zwar schon seit Längerem untersucht, aber noch bei weitem nicht so verbreitet und zugänglich ist, wie es für gemeinschaftliche kreative Prozesse zu wünschen wäre. Der Einsatz von Machine Learning kann hier zusätzlich hilfreich sein, um zum Beispiel Fotos und Skizzen mit vorhandenen Modellen visuell zu kombinieren.

Das Konsortium für Forschungsdaten zu materiellen und immateriellen Kulturgütern (NFDI4Culture)

Ziel von NFDI4Culture ist der Aufbau einer bedarfsorientierten Infrastruktur für Forschungsdaten zu materiellen und immateriellen Kulturgütern in der NFDI. Dazu gehören 2D-Digitalisate von Gemälden, Fotografien und Zeichnungen ebenso wie digitale 3D-Modelle kulturhistorisch bedeutender Gebäude, Denkmäler oder audiovisuelle Daten von Musik-, Film und Bühnenaufführungen. Konzept und Struktur des Konsortiums wurden über zwei Jahre in einem offenen Prozess und in enger Zusammenarbeit zwischen elf Fachgesellschaften, neun Trägerinstitutionen und 52 Partnern entwickelt. Das Konsortium adressiert die Bedarfe eines breiten Spektrums an Fachdisziplinen von der Architektur-, Kunst-, Musik- bis hin zur Theater-, Tanz-, Film- und Medienwissenschaft.