Auf offene Tools setzen – QCTools Version 1.2 erweitert die Möglichkeiten der Qualitätskontrolle von digitalisierten audio-visuellen Materialien

Ein gemeinschaftlich erstellter Blogpost von Dave Rice (MediaArea), Merle Friedrich und Miriam Reiche (Technische Informationsbibliothek (TIB)). Im Original bei der Open Preservation Foundation veröffentlicht.

Einleitung

Die Teams aus dem Bereich Bestandserhaltung und Langzeitarchivierung der TIB – Leibniz-Informationszentrum für Technik und Naturwissenschaften, Hannover, sind für die Entwicklung von Strategien zum Erhalt der physischen Filmkopien verantwortlich. Dazu gehören unter anderem die Koordinierung der Digitalisierung der Sammlung sowie die Langzeitarchivierung der dadurch entstandenen Objekte. Die Filmsammlung der TIB besteht hauptsächlich aus 16mm-Film mit Licht- und Magnetton sowie Digital Betacam. Mit der Digitalisierung wurde 2017 begonnen, seither wurden ca. 2.500 Filmtitel digitalisiert, weitere 700 Filmtitel sind geplant. Während die Digitalisierung von externen Dienstleistern durchgeführt wird, mussten wir einen Workflow entwickeln, der mit der Auswahl der analogen Filmkopie beginnt und mit dem Ingest der entstandenen Dateien in das digitale Archiv endet.

Zunächst ein kurzer Überblick über den Workflow: Jede digitale Datei, die wir vom externen Digitalisierungsdienstleister erhalten, wird einer Qualitätskontrolle (QK) unterzogen. Unsere QK umfasst automatisierte Prozesse wie die Überprüfung von Prüfsummen und die Validierung der Dateien gegen unsere Policy. Zusätzlich wird eine manuelle Qualitätskontrolle durchgeführt, die Aufgaben wie die Überprüfung der korrekten Benennung der Dateien, des korrekten Inhalts und die visuelle Identifizierung von analogen oder digitalen Artefakten umfasst.

Jedes analoge Filmformat hat eigene, spezifische Merkmale, die später auch in der digitalen Darstellung vorhanden sind, aber von Digitalisierungsartefakten unterschieden werden müssen. Ein Beispiel ist die Perforation von 16-mm-Film, die – je nach Entscheidung für die Abtastung – in der digitalen Darstellung als bewusste Entscheidung sichtbar sein können. Ein Beispiel für einen Digitalisierungsfehler ist dagegen das Abspulen und anschließende Aufnehmen des Films mit der falschen Bildrate. Viele Dinge können nur in Echtzeit, also bei der tatsächlichen Widergabe des digitalisierten Films, überprüft werden. Das macht die Qualitätskontrolle sehr zeitaufwändig, besonders bei größeren Digitalisierungsprojekten mit wenigen Ressourcen auf der QK-Seite. Deshalb haben wir nach einer Möglichkeit gesucht, die visuelle QK zu optimieren und zu unterstützen.

Mit QCTools haben wir ein geeignetes Tool für diese Aufgabe gefunden, aber wir haben mehrere Bereiche identifiziert, in denen erweiterte Funktionalitäten die Effizienz oder Genauigkeit unserer Qualitätskontrollarbeit unterstützen könnten. Wir identifizierten verschiedene Digitalisierungsartefakte. Anhand dieser planten wir die Entwicklung neuer Funktionen gemeinsam mit den QCTools-Entwicklern, wie z.B. die Visualisierung entlang einer Zeitachse zusätzlich zu den Diagrammen. Wir baten auch um einige neue Optionen wie QCTools Reports speichert, um uns bei der Skalierung unseres Ansatzes zu helfen. Da QCTools eine Open-Source-Anwendung ist, hilft der Beitrag zur Entwicklung hier nicht nur unserer Arbeit, sondern trägt allgemein zur digitalen Bestanderhaltung bei.

Panels in QCTools

Während die Diagramme von QCTools Informationen über Tendenzen und Ereignisse liefern, die auf einer Zeitachse von audiovisuellen Daten auftreten, sind diese beschränkt auf ein gezeichnetes Liniendiagramm. Wir beschlossen, die Struktur der Zeitleiste zu adaptieren, sie aber mit visuellen Informationen statt mit einfachen Zahlen zu füllen. Aus dieser Idee entwickelten wir gemeinsam mit den Entwicklern ein Konzept, das nun als „Panels“ bezeichnet wird. In Panels wird ffmpeg genutzt, um ein Bild pro Frame zu erstellen, das nur einen Pixel breit ist, und diese Bilder werden dann entlang einer Zeitachse dargestellt. Während QCTools typischerweise einen numerischen Wert pro Frame über eine Zeitachse als Liniendiaramm darstellt, erzeugt diese Methode eine bildliche Darstellung von einem bestimmten Merkmal über die gesamten Zeitachse. In unserer Entwicklungsarbeit haben wir mehrere Arten von Panels für QCTools erstellt, die im Folgenden beschrieben werden.

Diese Panels sind in QCTools Version 1.2 hinzugefügt worden. Bei den Panels handelt es sich um eine Reihe von Bildern, die in der Diagrammansicht von QCTools dargestellt werden, wobei die Breite des Bildes, von links nach rechts, die Zeitlinie des Bildes darstellt. Auf diese Weise kann ein visueller Eindruck des Inhalts gegenüber den traditionellen QCTools-Diagrammen vermittelt werden. Dieses Bild zeigt z. B. ein vorhandenes QCTools-Diagramm, genannt TOUT (oder „temporal outlier“), das einen Eindruck von der Störung der Frames vermittelt, und unter dem Diagramm befindet sich ein Panel, das aus einzelnen Spalte von Pixeln aus jedem Frame besteht und auf der gleichen Zeitlinie ausgerichtet wird. Dieses Beispiel zeigt die Korrelation der Trends im Diagramm des zeitlichen Ausreißers mit den weißen Punkten eines beschädigten Videobandes im Panel.

Zeigt die grafische Darstellung von Temporal Outlier und Panel "Tiled Column Center"
Zusammenhang zwischen dem „temporal outlier“ Diagramm und den weißen Punkte eines beschädigten Videobands

Digital Betacam Artefakte

Das Panel „Tiled Center Row“ kann verwendet werden, um Artefakte wie diese vertikalen Linien in einer digitalisierten digitalen Betacam zu erkennen:

Standbild mit DigiBeta Artefakten
CC-Namensnennung – keine kommerzielle Nutzung – keine Bearbeitung 3.0 Deutschland: Ballhaus, Edmund: Saline Luisenhall, Göttingen – Arbeitsalltag in einer Siedepfannensaline, Volkskundliche Filmdokumentation Niedersachsen. IWF. 1986. https://doi.org/10.3203/IWF/C-1664
Zeigt die grafische Darstellung von Farblichen DIfferenzen und das Panel "Tiled Center Row"
Diagramm „Differences“ und Panel „Tiled Center Row“

Die „Differences“-Diagramme zeigen ein ungewöhnliches Muster, da ein digitaler Bandspieler in abwechselnden Frames seltsame Artefakte aus vertikal gestapelten, falsch angeordneten Pixeln einfügt. Dieses Bild zeigt, wie dieser Fehler sowohl im „Differences“-Diagramm als auch in der „Tiled Center Row“ dargestellt wird.

Panels verdeutlichen auch Szenenwechsel. Während eine Einzelbildspitze im „Differences“-Diagramm auf einen Szenenwechsel hinweisen kann, könnte sie auch auf einen Einzelbildfehler hinweisen, der bewirkt, dass sich ein Bild wesentlich von seinem Vorgänger unterscheidet. Die Panelbilder von „Tiled Center Column“ und „Tiled Center Row“ helfen einem Prüfer zu erkennen, dass die Spikes tatsächlich bei Szenenwechseln auftreten.

Szenenwechsel sind deutlich zu erkennen durch auffällige Änderungen im Muster und Farbe
Panels die Szenenwechsel anzeigen

Horizontale Unschärfe

Das Panel Horizontal Blur zeigt Scharfe und Unscharfe Partien des Filmes
Drei Panel: „Horizonal Blur“, „Tiled Center Column“ und „Tiled Center Row“

Dieses Bild zeigt die Wirkweise des Panel „Horizontal Blur“, der den Grad der Unschärfe im Rahmen von links nach rechts darstellt (das Bild ist so gedreht, dass der linke Rand des Rahmens unten im Bereich „Horizontale Unschärfe“ und der rechte Rand oben dargestellt wird). In den meisten Szenen befindet sich ein Sprecher im Fokus und in der Mitte des Bildes, so dass die Mitte heller ist, was den Fokus darstellt, und die Seiten dunkler sind, was die Unschärfe darstellt. Später im Clip werden verschiedene Brennweiten auf das Kameraobjektiv angewendet, wodurch sich die Position des Fokus im Bild verschiebt.

EIn Film läuft über zweil Rollen im Filmscanner, und verdreht sich aufgrund der Verwölbung des Materials
Ein verwölbter Film bei der Abtastung
Das Horizontal Blur Panel zeigt eine druchgängig dunklen Schatten auf der rechten Seite des Films
Unschärfe auf der rechten Seite des digitalisierten Films

Dieses Bild stammt von einem Filmscanner, bei dem sich der geschrumpfte Film seinen Weg durch den Scanner bahnt. Im Bild ist das Panel „Horizontal Blur“ eines verwölbten Films zu sehen. Hier ist die rechte Kante, die oben auf dem Horizontal Blur-Panel zu sehen ist, über den Großteil des Transfers dunkler als die linke Kante. Das Panel hilft, Filme zu erkennen, bei denen die Handhabung des Films während der Digitalisierung zu einer durchgehenden Unschärfe auf einer der Seiten führt.

Ein Schwarz-weißes Bild zeigt am unteren Rand des Panels (linker Rand des Filmbildes) eine graue Fläche bzw. parteile grauen Schatten
„Horizonal Blur“

Dieser Screenshot des Panels „Horizontal Blur“ zeigt einen weiteren Film mit dem gleichen Muster: Der untere Teil des Panels zeigt größtenteils schwarze oder dunkelgraue Schattierungen, die auf Unschärfe hinweisen. Aber auch für den Teil, wo es heller ist, ist es nie eindeutig weiß. Dies könnte darauf hinweisen, dass die linke Seite des Films ständig unscharf ist. Für die Qualitätskontrolle würde das bedeuten, zu den hellsten Stellen des Films zu springen und dort das aktuelle Bild zu überprüfen. Ist dort eine Unschärfe vorhanden?

Bild eines Kamels, Sträuche im Hintergrund
Rechte: Fuchs, Peter: Satteln und Beladen eines Kamels bei den Tubu (Ostsahara, Tibesti). Peter Fuchs. 1963. https://doi.org/10.3203/IWF/W-770

Das obige Bild ist von einem der helleren Teile des Panel „horizontal blur“ aufgenommen: Der linke Teil des Bildes ist deutlich unscharf im Vergleich zu den anderen Pflanzen im Hintergrund, die schärfer sind. Filme mit einseitiger durchgehender Unschärfe können also im besten Fall mit einem Blick auf das Panel „horizontal blur“ erkannt werden, in Fällen wie dem abgebildeten mit einigen Sprüngen zu relevanten Teilen des Films.

Audio Alignment

Bei vielen unserer Filme haben wir die Tonspur in mehreren Formen, wie z. B. eine optische Spur auf der Filmkopie und eine zusätzliche Tonspur auf einer separaten magnetischen Tonrolle. Bei unseren Digitalisierungsarbeiten wollten wir die mehrfachen Tonspuren im selben Container speichern, so dass der optische und der magnetische Ton mit den Bildern des Films synchronisiert sind. Bei der Überprüfung der Qualität dieser Digitalisierungsarbeit muss sichergestellt werden, dass die unterschiedlichen Tonspuren synchron sind.

Zwei Grafen zeigen dieselben Ausschläge, allerdings zeitlich versetzt
Die beiden Tonspuren sind nicht synchron

Dieses Bild zeigt eine Filmabtastung, bei dem die erste Spur die optische Tonspur auf der Filmkopie und die zweite Spur die separate magnetische Tonspur aufnimmt. Die Panels und Diagramme der Audiowaveform zeigen, dass der Ton aus diesen beiden Quellen nicht ganz synchron ist. Auch die Lichttonspur, insbesondere in der Tafelspur „Audio Waveform (Logarithmic)“, zeigt Dropouts in der Lichttonspur, wo die Emulsion zerkratzt ist.

Tiled Center Column (Field Split)

Bei einigen Panels kann deren beste Anwendung davon abhängen, ob das Quellmaterial interlaced (wie die meisten Videobänder) oder progressiv (wie Film) ist. Während die Darstellung der mittleren Spalte oder Zeile einer Bildspur auf einer Zeitachse viel über die Eigenschaften des Videos im Laufe der Zeit verraten kann, kann diese Information irreführend sein, wenn die ungeraden und die geraden Zeilen des Quellmaterials unabhängig voneinander reagieren (z. B. bei einem verstopften Videokopf oder einem verschmutzten Videoband-Player).

Tiled Center Column zeigt ein Bild an, welches ab dem zweiten Drittel merklich an Farbe verliert, Tiled Center Column Field Split zeigt zwei Reihen an: bei der obersten reihe ist das Bild im zweiten Drittel schwarz, in der unteren Reihe durchgängig farblich.
„Tiled Center Column“ und „Tiled Center Column (Split Screen)“

Der Filter „Tiled Center Column“ nimmt die mittlere Spalte der Pixel aus jedem Frame und stapelt sie von links nach rechts. Da analoges Video ein Zeilensprungverfahren ist, können Fehler oft besser erkannt werden, wenn die beiden Halbbilder des Videos übereinander gestapelt dargestellt werden, anstatt wie üblich ineinander verschachtelt. In diesem Beispiel blockiert ein verstopfter Kopf im Videowiedergabedeck das Signal eines Halbbildes. Bei „Tiled Center Column (Field Split)“ werden die beiden Halbbilder gestapelt, bevor der Filter „Tiled Center Column“ angewendet wird, wodurch die obere Hälfte (wo die Kopfverstopfung auftritt) viel dunkler wird als das untere Halbbild.

“Vertical Line Repetition” und “Tiled Center Column”

Der Obere Grapf schlägt an denselben Stellen aus, an denen das untere Bild Artefakte aufzeigt
“VREP” und “Tiled Center Column” zeigen den Fehler auf

Dieses Beispiel zeigt ein U-Matic-Tape, das mit einen „DPS-275 timebase corrector“ abgetastet wurde. Da das Band deutlich abgenutzt war, enthielten einige Sequenzen ein schwaches Signal. Der Timebase-Korrektor speichert einzelne Videozeilen in einem kleinen digitalen Speicher. Wenn das Signal zu schwach ist, gibt der Timebase-Korrektor stattdessen einfach dieselbe digitale Zeile aus, was zu einer digitalen Datei führte, in der dieselbe Zeile mehrmals hintereinander vorkommt. Da ein analoges Band Rauschen hat, würde es selbst unter idealen Bedingungen nicht in der Lage sein, identische Reihen von digitalen Pixeln zu produzieren, so dass QCTools diese Zeilen als VREP oder vertikale Wiederholung kennzeichnet. Dieses Beispiel zeigt das Diagramm von VREP und  das Panel “Tiled Center Column“, wodurch der Fehler mit dem Erscheinungsbild korreliert wird.

Farbrauschen

Ein Graf zeigt die Farbsättigung für Y,U,V auf
Farbrauschen: “Saturation” Diagramm und “Tiled Center Column”

Hier resultiert das übersättigte Bild in einem lebhaften Muster aus roten, grünen und blauen Farben, die über einige Szenen des Videos flimmern. Dieses Bild gleicht die Sättigungskurve (Saturation) ab und stellt die hohen, außerhalb des Sendebereichs liegenden Sättigungswerte den resultierenden Bildern von „Tiled Center Column“ gegenüber.

Ausgelagerte Analyse

Da Filmbilder so viel größer als Videobilder sind, nimmt die Ausführung von QCTools auf Film mehr Zeit in Anspruch und die Berichte benötigen mehr Platz. Um unseren Arbeitsablauf zu optimieren, verwendeten wir unsere Server, um das QCTools-Befehlszeilentool (qcli) auszuführen, und die QCTools-Berichte in verhältnismäßig kürzerer Zeit zu erzeugen. Normalerweise würden qcli und QCTools diese Berichte in einer gzipped XML-Datei neben dem zu analysierenden audiovisuellen Film speichern; aber wegen der Einführung der oben beschriebenen Panel-Funktionen wurde die standardmäßige QCTools-Berichtsdatei von einer gzipped XML-Datei in eine Matroska-Datei verschoben. Die Matroska-Datei enthält dann die gzipped XML-Daten sowie die visuellen Informationen der Panel  und die Thumbnails der einzelnen Bilder.

Anstatt diese Berichte neben jeder analysierten audiovisuellen Datei zu speichern, haben wir die Entwicklung einer Funktion namens QCvault unterstützt, wo die Beziehung zwischen dem QCTools-Bericht und der Datei, die der Bericht repräsentierte, definiert werden konnte. Mit dieser Einstellung können die Berichte wie bisher neben der analysierten Datei liegen, oder in einem separat vordefinierten Ordner gespeichert werden. Dadurch können wir audiovisuelle Dateien und QCTools-Berichte unabhängig voneinander verwalten.

Programmdialog mit Angabe des Pfades zum QCVault
Dialog zur Auswahl vom QCVault

Dateigröße der Reports

Mit der neuen Funktion der Panels ändert sich das Format der Berichte. Während es sich vorher um ein XML handelte, ist es jetzt in einen Matroska-Container verpackt. Das Speichern der analysierten Panel-Bilder führt auch zu einer größeren Dateigröße der Berichte. Hier sind unsere ersten Beispiele von digitalisiertem 16mm-Film und deren Reportgrößen. Viele Faktoren spielen eine Rolle dabei, wie groß die Videodatei wird und wie groß der Bericht ist. Deshalb ist mehr Kontext zum analogen Original und zum digitalen Preservationmaster gegeben, der für die Erstellung des Berichts verwendet wurde.

Physische Kopie: Digital Preservationmaster: Dateigröße in MB/Min Reportgröße in MB / Min
16mm Film, Schwarz-weiß, Lichtton, 24 BpS Mkv, ffv1, 10 bit, 2018×1536, 24 BpS

2340

56,7

16mm Film, Farbe, stumm, 24 BpS Mkv, ffv1, 10 bit, 2018×1536, 24 BpS

3670

22,6

Digital Betacam, Farbe, interlaced Mkv, ffv1, 10 bit, 720×576, YUV 4:2:2, interlaced

911

3,2

Dateigröße der Reports von verschiedenen Ausgansmaterialien

Zusammenfassung

Mit der neuen Version von QCTools erleichtern wir den Prozess der visuellen Qualitätsprüfung der digitalisierten Filme und Digital Betacams. Vorher hatten wir einen Arbeitsablauf, bei dem wir das digitalisierte audiovisuelle Material in Echtzeit inspiziert haben, wobei wir bei Filmen mit Ton die Tonspuren zwischen Lichtton und magnetischem Ton hin und her geschaltet haben. Jetzt können wir die Probleme, die wir vorher reklamiert haben, visuell betrachten, z.B. Audio-Streams, die nicht synchron sind. Und mit den Panels gibt es eine erweiterte Möglichkeit, die Diagramme zu kontextualisieren.

Wenn nicht anders angegeben sind Text und Bilder unter CC-BY 3.0 Germany veröffentlicht https://creativecommons.org/licenses/by/3.0/de/deed.en

Aus dem Englischen übersetzt von Merle Friedrich mit Hilfe von Deepl.

... arbeitet im Team Langzeitarchivierung