Plötzlich defekte Dateien – Datenforensik bei der Webarchivierung

Bei der Webarchivierung erstellen wir Kopien von Webauftritten. Hierfür nutzen wir Spezialsoftware. Doch bietet diese Art der Datenerfassung auch ihre Tücken: Warum einige Dateien im Web einwandfrei, ihre Kopien im Archiv aber defekt sind, erklären wir hier.

Ein Kollege fragte kürzlich: Werden beim Crawlen (= Kopieren) der Website XY auch die Jahresberichte miterfasst? Diese stehen dort als PDF-Download zur Verfügung. – Ja, ergab die Stichprobe. Soweit so gut.

Nähere Informationen zur Webarchivierung im Staatsarchiv sind hier zu finden.

Wenn sich Dateien nicht mehr öffnen lassen

Doch ließen sich einige PDF-Dateien aus dieser angelegten Dateisammlung einfach nicht mehr öffnen: Das Ausleseprogramm (PDF-Reader) meldete den Fehler: „Beim Öffnen dieses Dokuments ist ein Fehler aufgetreten. Diese Datei ist beschädigt und kann nicht repariert werden“. Und was nun?

Insgesamt wies etwa eine Handvoll PDF-Dateien aus einer sehr großen Menge diesen Fehler auf. Die Ursprungsdateien im Webauftritt im Liveweb waren dagegen einwandfrei nutzbar. Sie ließen sich einzeln downloaden und öffnen. Dieses Phänomen trat flächendeckend auf – sowohl bei älteren als auch bei taufrischen Crawls.

Auf Spurensuche in den Dateien

1. Zunächst wollten wir feststellen, ob die vermeintlich fehlerhaften PDF-Dateien auch tatsächlich Dateien vom Typ PDF sind. Der Check mit einem Erkennungsprogramm (DROID) verlief positiv. Der Teufel steckte also eher im Detail.
2. Im direkten Vergleich der intakten und defekten Dateien fiel einerseits auf, dass das Speichervolumen bzw. die Dateigrößen identisch waren, …
3. …aber ihre „Fingerabdrücke“ (Hashwerte) waren es nicht. Worin unterschieden sich die Dateien schließlich?

Was sind „Fingerabdrücke“ von Dateien? Hier entlang…

Des Rätsels Lösung

Schließlich führte ein Tipp aus unserem Archiv-Netzwerk (nestor-AG Formaterkennung) allmählich zur Lösung: Öffne die Dateien mit einer Software zum Analysieren des Codes. Auch wenn die Datei defekt ist, kann sie weiterhin mit einem einfachen Texteditor geöffnet werden.
Durch eine umfangreiche Analyse konnte dann entdeckt werden, dass sich in mancher PDF-Datei Hyperlinks befanden, deren Syntax in der gecrawlten Version verändert war. Beispiel: aus „www.xy.de“ wurde „../../www.xy.de/default.htm“. Aber wie konnte das passieren?

Vernetzung nicht nur zwischen Dateien, sondern auch zwischen Nerds: Näheres zum Kompetenznetzwerk nestor und dessen AGs sind hier zu finden.

Die Software macht nur ihren Job…

Mit der Webcrawl-Software werden sämtliche Bestandteile eines Webauftritts erfasst. Dazu gehören auch Einzelseiten (sog. Webpages im HTML-Format), die typischerweise miteinander verlinkt sind.
Damit beim späteren Aufrufen der lokal abgelegten Dateisammlung diese Hyperlinks nicht zurück ins Liveweb führen, sondern nur noch innerhalb der Dateisammlung funktionieren, wandelt das Crawl-Programm diese Links um.

…und manchmal etwas zu gut

Nun stellte sich heraus, dass das eingesetzte Crawl-Programm seinen Job etwas zu „gut“ gemacht hatte und neben den Webpages auch Downloads, also auch eben jene PDF-Dateien, auf Hyperlinks hin untersucht und diese abgewandelt hat. Bei PDF-Dateien kann dies böse enden: Die Dateien werden unbrauchbar.

Blick nach vorne

Ein Muster, warum das Programm gelegentlich eine PDF mit Links umwandelt, gibt es nicht. Wir haben das Skript, also die Bauanleitung, zum Erstellen der Webcrawls angepasst und sparen die Linkumwandlung bei bestimmten Dateiformattypen in Zukunft bewusst aus.

---

---