Suchen

Satellitendaten sicher archivieren „Deutlich niedrigere Latenzen beim Auslesen der Daten“

| Autor / Redakteur: Hannes Heckel* / Dr. Jürgen Ehneß

Im Satellitendatenarchiv des Deutschen Zentrums für Luft- und Raumfahrt (DLR) laufen die Daten der Empfangsstationen für Satellitendaten auf – und müssen gespeichert werden. Für die Archivierung nutzt das DLR unter anderem Silent Bricks von FAST LTA.

Firma zum Thema

Daten werden von Satelliten erzeugt, von diesen an Empfangsstationen geschickt – und müssen dann gespeichert werden.
Daten werden von Satelliten erzeugt, von diesen an Empfangsstationen geschickt – und müssen dann gespeichert werden.
(Bild: Deutsches Zentrum für Luft- und Raumfahrt)

Das Deutsche Zentrum für Luft- und Raumfahrt (DLR) leistet als Forschungszentrum der Bundesrepublik Deutschland Forschungs- und Entwicklungsarbeiten für Luftfahrt, Raumfahrt, Energie, Verkehr, Sicherheit und Digitalisierung. Über die eigene Forschung hinaus ist das DLR als Raumfahrtagentur im Auftrag der Bundesregierung für die Planung und Umsetzung der deutschen Raumfahrtaktivitäten zuständig. Am Standort Oberpfaffenhofen westlich von München ist das Earth Observation Center (EOC) angesiedelt. Hier wird auf dem Gebiet der Fernerkundung geforscht und nach Antworten zu drängenden Fragen in den Bereichen Umwelt und Klima, Mobilität und Planung, Prävention und Management von Naturkatastrophen und der zivilen Sicherheit gesucht.

Bildergalerie

Bestandteil des EOC ist das Deutsche Satellitendatenarchiv (D-SDA). Die weltweit verteilten Empfangsstationen für Satellitendaten leiten ihre Daten hierher weiter, wo sie langfristig gesichert und archiviert werden. Die Daten des sehr schnell wachsenden, gegenwärtig circa 20 Petabyte großen Archivs werden mit vorgeschaltetem Festplattencache über ein hierarchisches Storage-Management-System abgelegt. Dabei sollen die beiden Kopien der Daten auf unterschiedlichen Technologien basieren. Da eine der beiden bisher eingesetzten Tape-Technologien vom Hersteller abgekündigt wurde, entschied sich das DLR dafür, in einem Pilotprojekt das Silent-Brick-System von FAST LTA zu evaluieren. Über den erforderlichen Medienbruch hinaus bringen Silent Bricks auch erhebliche Geschwindigkeitsvorteile mit.

Das Deutsche Satellitendatenarchiv ist die Kernkomponente zahlreicher nationaler und internationaler Raumfahrtmissionen der Erdbeobachtung. Es wird seit Mitte der 1990er-Jahre in dieser Form betrieben. Verschiedene Satelliten, die mit optischen Verfahren, Röntgentechnik, Spektrografie und Radar gewonnene Daten produzieren, geben Wissenschaftlern die Basis für ihre Forschung. So kann beispielsweise die Veränderung aller weltweiten Gletscher der vergangenen 30 bis 40 Jahre präzise nachvollzogen werden. Auch für wirtschaftliche Anwendungen, Städteplanung, Land- und Forstwirtschaft oder zur Umweltfolgenabschätzung werden diese Daten genutzt. Dementsprechend umfangreich sind beim D-SDA die Erfahrungen hinsichtlich der Archivierung großer Datenmengen. Stephan Schropp ist als IT-Manager mit mehreren Kollegen für die Konzeption, das optimale Set-up und die Anpassung der Archivumgebung zuständig.

Sieben Jahre Daten sammeln – aufbewahren für die Ewigkeit

Die Satelliten sind auf sieben Jahre Nutzung ausgelegt, in denen sie die Erde umkreisen. In dieser Zeit – und häufig auch ein paar Jahre länger – sammeln sie ihre Daten und senden diese regelmäßig an das D-SDA. Die Langzeitarchivierung der Satellitendaten soll für eine möglichst lange Zeit erfolgen, um auch für zukünftige Herausforderungen die Auswertungen vergangener Daten zu ermöglichen.

Das Datenmanagement erfolgt mit einer hauseigenen Software. Die Daten werden zunächst in einem Festplattencache abgelegt; sie werden dann redundant auf zwei verschiedenen Tape-Technologien und Standorten archiviert, um das Risiko eines Datenverlustes zu minimieren. Bisher nutzte man neben Tape-Systemen auf LTO6/7-Basis die ebenfalls auf Tape basierende Lösung von Oracle Storagetek STK T10000. Letztere werden aber nicht mehr weiterentwickelt. „Wir beobachten schon länger eine Veränderung im Markt. Im Tape-Bereich hat sich die letzten Jahre das Angebot verschiedener Laufwerkshersteller stark verringert, sodass sich eine Dual-Vendor-Strategie, die in der Langzeitarchivierung übliche Praxis ist, nicht mehr so einfach durchhalten lässt“, erklärt IT-Manager Stephan Schropp. „Für bestimmte Daten aktueller Missionen muss zudem eine geringere Latenz beim Lesen von Daten erreicht werden.“ Neuartige Virtual Tape Libraries können die Lösung für den Übergang von den bisherigen Archivmedien sein.

Ergänzendes zum Thema
Hintergrundinformationen und Fakten

Kunde

Deutsches Zentrum für Luft- und Raumfahrt (DLR)

Branche

Wissenschaft/Raumfahrt

Herausforderung

Das Deutsche Satellitendatenarchiv sichert die Daten der Erderkundungssatelliten mit einem Dual-Vendor-Ansatz. Die auf Tape basierende Lösung wird vom Hersteller jedoch nicht mehr weiterentwickelt. Da außerdem für künftige Missionen ein erhebliches Datenwachstum zu erwarten ist, musste adäquater Ersatz gefunden werden. Neuartige Virtual Tape Libraries sollten die Lösung für den Übergang von den bisherigen Archivmedien sein, da so auch eine geringere Latenz beim Zugriff auf die Daten erreicht wird.

Lösung

• Drei Silent-Brick-Systeme an zwei Standorten für ausgewählte Daten

• Ersatz der Enterprise-Tapes-Drives durch ein neues, auf sehr große Datenmengen ausgelegtes VTL-Archiv von FAST LTA

Anwendungen/Software

Eigene Archiv-Software/HSM

Schnellerer Zugriff im Vergleich zu Tape

Auf Empfehlung der Experten des Systemintegrators Navum GmbH aus Wörthsee bei München, die das DLR bereits seit vielen Jahren bei der Betreuung des Archivs unterstützen, entschied man sich für das Silent-Brick-System von FAST LTA. „Wir können dadurch unsere ‚Dual-Vendor-Strategie‘ aufrechterhalten“, sagt Schropp. Die Silent Bricks können als Virtual Tape Library (VTL) betrieben werden. Somit ist die Integration in diese Umgebung ohne große Anpassungen an die bestehende Archiv-Software möglich. „Dank der festplattenbasierten Technologie von FAST LTA können wir auf eine weitere, schnellere Kopie auf Festplatten verzichten“, freut sich Stephan Schropp. Dies war bisher nötig, um einen zeitnahen Zugriff auf Archivdaten zu gewährleisten, konnte aufgrund des höheren Preises und Energieverbrauchs aber nur für einen kleinen Teil der Daten realisiert werden.

Der schnelle, wahlfreie Zugriff auf immer mehr Daten wird für zukünftige Anwendungen aber immer wichtiger. Diese Anforderung kann nun mit der Lösung von FAST LTA bereits erfüllt werden. Durch die Abschaltung inaktiver Silent Bricks können festplattentypische Zugriffszeiten bei einem niedrigen Energieverbrauch erreicht werden; die Energiebilanz ist damit vergleichbar mit der eines Tape-Archivs. „Wir konnten im Vergleich zur bisherigen Lösung deutlich niedrigere Latenzen beim Auslesen der Daten aus dem Archiv feststellen“, erläutert Stephan Schropp mit Blick auf die bisherigen Erfahrungen. Die Integration der ersten Silent-Brick-Systeme erfolgte ohne Unterbrechung des produktiven Betriebes im Januar 2019 an den DLR-Standorten Oberpfaffenhofen und Neustrelitz. „Die drei Systeme laufen seitdem unauffällig und zuverlässig. Es ist eine für uns gut geeignete Lösung“, erklärt Schropp zufrieden.

Bildergalerie

Zehn Petabyte pro Jahr Zuwachs

„Wir erwarten durch die aktuellen und neuen Satellitenmissionen ein Datenwachstum von bis zu zehn Petabyte pro Jahr“, sagt Schropp. Künftig ist geplant, Technologien wie die Silent Bricks als festen Bestandteil in die Archivierungsstrategie zu integrieren und damit die Satellitendaten des DLR zukunftssicher für Forschung und Wirtschaft zur Verfügung zu stellen. Dazu arbeiten DLR und NAVUM mit FAST LTA an der Weiterentwicklung des Silent-Brick-Systems und einem neuen, besonders für sehr große VTL-Archive ausgelegten Speichersystem.

*Der Autor: Hannes Heckel, FAST LTA GmbH

(ID:46380068)