Plötzlich defekte Dateien – Datenforensik bei der Webarchivierung

Der Teufel steckt im Detail – Datenforensik im Sachgebiet Elektronische Archivierung (Foto: Stephanie Kortyla)

Bei der Webarchivierung erstellen wir Kopien von Webauftritten. Hierfür nutzen wir Spezialsoftware. Doch bietet diese Art der Datenerfassung auch ihre Tücken: Warum einige Dateien im Web einwandfrei, ihre Kopien im Archiv aber defekt sind, erklären wir hier.

Ein Kollege fragte kürzlich: Werden beim Crawlen (= Kopieren) der Website XY auch die Jahresberichte miterfasst? Diese stehen dort als PDF-Download zur Verfügung. – Ja, ergab die Stichprobe. Soweit so gut.

Nähere Informationen zur Webarchivierung im Staatsarchiv sind hier zu finden.

Wenn sich Dateien nicht mehr öffnen lassen

Ein Buch mit sieben Siegeln: die PDF-Datei gibt ihren Inhalt nicht frei. (Screenshot Adobe Reader)

Doch ließen sich einige PDF-Dateien aus dieser angelegten Dateisammlung einfach nicht mehr öffnen: Das Ausleseprogramm (PDF-Reader) meldete den Fehler: „Beim Öffnen dieses Dokuments ist ein Fehler aufgetreten. Diese Datei ist beschädigt und kann nicht repariert werden“. Und was nun?

Insgesamt wies etwa eine Handvoll PDF-Dateien aus einer sehr großen Menge diesen Fehler auf. Die Ursprungsdateien im Webauftritt im Liveweb waren dagegen einwandfrei nutzbar. Sie ließen sich einzeln downloaden und öffnen. Dieses Phänomen trat flächendeckend auf – sowohl bei älteren als auch bei taufrischen Crawls.

Auf Spurensuche in den Dateien

  1. Zunächst wollten wir feststellen, ob die vermeintlich fehlerhaften PDF-Dateien auch tatsächlich Dateien vom Typ PDF sind. Der Check mit einem Erkennungsprogramm (DROID) verlief positiv. Der Teufel steckte also eher im Detail.
  2. Im direkten Vergleich der intakten und defekten Dateien fiel einerseits auf, dass das Speichervolumen bzw. die Dateigrößen identisch waren, …
  3. …aber ihre „Fingerabdrücke“ (Hashwerte) waren es nicht. Worin unterschieden sich die Dateien schließlich?

Was sind „Fingerabdrücke“ von Dateien? Hier entlang…

Auf den ersten Blick sehen sie identisch aus… (Foto: Stephanie Kortyla)

Des Rätsels Lösung

Schließlich führte ein Tipp aus unserem Archiv-Netzwerk (nestor-AG Formaterkennung) allmählich zur Lösung: Öffne die Dateien mit einer Software zum Analysieren des Codes. Auch wenn die Datei defekt ist, kann sie weiterhin mit einem einfachen Texteditor geöffnet werden.
Durch eine umfangreiche Analyse konnte dann entdeckt werden, dass sich in mancher PDF-Datei Hyperlinks befanden, deren Syntax in der gecrawlten Version verändert war. Beispiel: aus „www.xy.de“ wurde „../../www.xy.de/default.htm“. Aber wie konnte das passieren?

Vernetzung nicht nur zwischen Dateien, sondern auch zwischen Nerds: Näheres zum Kompetenznetzwerk nestor und dessen AGs sind hier zu finden.

…aber bei genauem Hinsehen offenbaren sich die Unterschiede. (Foto: Stephanie Kortyla)

Die Software macht nur ihren Job…

Mit der Webcrawl-Software werden sämtliche Bestandteile eines Webauftritts erfasst. Dazu gehören auch Einzelseiten (sog. Webpages im HTML-Format), die typischerweise miteinander verlinkt sind.
Damit beim späteren Aufrufen der lokal abgelegten Dateisammlung diese Hyperlinks nicht zurück ins Liveweb führen, sondern nur noch innerhalb der Dateisammlung funktionieren, wandelt das Crawl-Programm diese Links um.

…und manchmal etwas zu gut

Nun stellte sich heraus, dass das eingesetzte Crawl-Programm seinen Job etwas zu „gut“ gemacht hatte und neben den Webpages auch Downloads, also auch eben jene PDF-Dateien, auf Hyperlinks hin untersucht und diese abgewandelt hat. Bei PDF-Dateien kann dies böse enden: Die Dateien werden unbrauchbar.

Blick nach vorne

Ein Muster, warum das Programm gelegentlich eine PDF mit Links umwandelt, gibt es nicht. Wir haben das Skript, also die Bauanleitung, zum Erstellen der Webcrawls angepasst und sparen die Linkumwandlung bei bestimmten Dateiformattypen in Zukunft bewusst aus.



Diesen Blogbeitrag zitieren
Stephanie Kortyla (2022, 4. Oktober). Plötzlich defekte Dateien – Datenforensik bei der Webarchivierung. SAXARCHIV-Blog. Abgerufen am 21. Mai 2024, von https://doi.org/10.58079/tw45

Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search