Airbus Defence & Space errichtet PByte-Archiv für Satellitendaten

Was tun, wenn per Satellit 250 MByte wichtige Daten pro Sekunde eintrudeln?

| Autor / Redakteur: Gabriel Chaher, Quantum / Rainer Graefen

Weitere Galileo-Satelliten werden in die Umlaufbahn katapultiert.
Weitere Galileo-Satelliten werden in die Umlaufbahn katapultiert. (Bild: ESA/Stephane CORVAJA)

Die in Großbritannien ansässige Airbus Defence & Space archiviert die von den Erdbeobachtungssatelliten der Europäischen Weltraumorganisation (ESA) gesendeten Daten. Das Airbus- Team setzt gezielt auf Scale-out Storage, um die Skalierbarkeit und die Verfügbarkeit dieses schnell wachsenden Datenarchivs zu gewährleisten.

Airbus Defence & Space ist als eine von wenigen ausgewählten europäischen Organisationen mit der Archivierung der Daten beauftragt, die von den Erdbeobachtungssatelliten der ESA gesammelt werden. Dieser Unternehmensbereich der Airbus Gruppe, dessen potenzielle Nutzerbasis Millionen Europäer umfasst, bedient in erster Linie kommerzielle Unternehmen der Bereiche Landwirtschaft, Forstwesen, Telekommunikation und Versicherungen.

„Unternehmen verwenden Satellitendaten beispielsweise, um die Gefahr von Überschwemmungen für ein Gebiet zu bestimmen oder um Standorte für die Errichtung von Mobilfunkmasten zu identifizieren“, sagt Mark Curtis, Spezialist für technische Entwicklung bei Airbus Defence & Space. „Vielfach wollen unsere Kunden auch mithilfe von Bildvergleichen Veränderungen im Zeitverlauf nachvollziehen. Mit den Satellitenaufnahmen haben sie die Informationen, die sie benötigen, um präzise, datengetriebene Entscheidungen zu treffen.

Archivierung von Satellitendaten im Petabyte-Bereich

2013 erhielt Airbus Defence & Space den Zuschlag für die Archivierung der Daten der Sentinel-Satelliten, die Teil des Copernicus-Programms der ESA sind. Jede Sentinel-Mission dient eigenen Zielen. Sentinel-1 tastet als Radarsatellitenmission Landmassen und Ozeane ab. Sentinel-2 liefert hochauflösende Multispektralbilder von Vegetation, Terrain- und Ozeanaufteilung, Binnengewässern und Küsten.

Die ESA schickt für jede Mission zwei Satelliten in den Orbit, die versetzt in derselben Umlaufbahn die Erde umkreisen und so eine hohe Abdeckung erreichen. Heute senden die Satellitenpaare mehrerer Missionen ununterbrochen Bilder an die Erde. Um diese enormen Datenmengen zu beherbergen, musste das IT-Team der Airbus Defence & Space ein neues Archiv aufbauen.

„Jeder Satellit streamt 250 MB Daten pro Sekunde. Auf das ganze Jahr gesehen sind das jeweils mehr als 1 PByte. Und die Einsatzdauer jedes Satelliten beträgt in der Regel 5, teilweise sogar bis zu 15 Jahre“, erläutert Curtis. „Wir archivieren nicht nur die Roh- oder Level-0-Daten der Instrumente, sondern auch die vom PGDS (Payload Data Ground Segment, für Nutzdaten zuständiges

Bodensegment) der ESA verarbeiteten Daten, also Level-1- und -2-Produkte. Um ein langlebiges Archiv für diese Datenmengen zu erhalten, brauchten wir eine Speicherlösung, die sich auf mehrere Dutzend Petabyte skalieren lässt.“

Verwaltung von Millionen Einzeldaten

Das Airbus Team muss aber nicht nur sehr große Datenmengen, sondern auch eine riesige Anzahl an Dateien bewältigen. „Wenn alle vier Satelliten im Orbit sind, müssen wir 40.000 Dateien täglich archivieren“, so Curtis. „Wir suchten also nach einem leistungsstarken Dateisystem, das zig Millionen Dateien verträgt.“ Eine weitere Herausforderung war die stark schwankende Größe der Dateien. „Zusätzlich zu großen Daten müssen wir auch kleine Metadaten-und Hilfsdateien speichern“, erläutert Curtis. „Wir benötigten ein neues Dateisystem, das die unterschiedlichsten Dateigrößen und -typen unterstützen kann, ohne dass dies mit Performance-Einbußen verbunden ist.“

Ergänzendes zum Thema
 
Über Airbus Defence & Space

Wirtschaftliche Vorteile von Tape

Das Airbus Team entschloss sich zur Implementierung einer Tape-Lösung. Ausschlaggebend waren dabei in erster Linie die wirtschaftlichen Vorteile dieser Technologie. „Die Kostenkontrolle ist wesentlich, da wir für die Sentinel-Missionen Dutzende Petabyte an Daten speichern müssen“, erläutert Curtis.

„Tape ist ein extrem günstiges Speichermedium: Jede Bandkassette speichert riesige Datenmengen zu geringen Kosten, und Tape Libraries haben einen geringeren Strom- und Kühlungsbedarf als schnellere Systeme.“ Darüber hinaus eignen sich die bei Airbus gespeicherten und abgerufenen Datenströme gut für Tape.

„Der Random-Access von Disk spielt für uns keine Rolle“, erläutert Curtis. „Wir speichern Daten in Streams und laden sie später auch wieder in Streams zurück. Eine Organisation, die den Verschmutzungsgrad eines Sees überwacht, wird eher sämtliche Daten mehrerer Jahre anfordern und nicht nur eine einzelne Datei. Für diese Art von Archiv macht Tape einfach mehr Sinn.“

Aufbau eines Satellitendaten-Archivs mit Quantum Stornext-Multi-Tier-Speicher

Das Airbus Team entschied sich für eine mehrstufige Stornext-Lösung, bestehend aus Stornext AEL6000 Tape-Archiven, Stornext-Metadaten-Appliances und einem primären Disk-Cache. Die gesamte Lösung basiert auf der Stornext-Datenmanagementsoftware. „Quantum bietet ein breites Spektrum an Speicheroptionen für den Aufbau einer mehrstufigen Umgebung“, sagt Curtis. „Die Stornext-Plattform erleichtert die Integration neuer Lösungen von Quantum und anderen Anbietern.“

Dass sich Curtis und seine Kollegen für die Stornext-Archivlösung entschieden, lag auch daran, dass das Team bereits bei Infoterra – einer Airbus Tochtergesellschaft für Geoinformationsdienste, die inzwischen mit Airbus Defence & Space fusioniert wurde – positive Erfahrungen mit den Speicherlösungen von Quantum gemacht hatte. Infoterra zählte zu den wichtigsten Bildlieferanten für Google Earth. „Bei Quantum hat man immer auf unsere Verbesserungsvorschläge gehört“, berichtet Curtis. „Im Fall von Stornext 5 hat Quantum Feedback von uns und anderen Kunden integriert, was zur Entwicklung einer besseren Storage-Lösung beitrug.“

Implementierung eines skalierbaren 18 PByte-Archivs

Die Airbus Defence & Space implementiert mit Stornext ein Archiv mit mehr als 18 PByte zur Aufnahme der Satellitendaten. Werden weitere Satelliten in den Orbit geschossen, kann das Archiv auf bis zu 37 PB skaliert werden. „Unmittelbares Ziel war die Unterstützung der ersten zwei Satelliten.

Aber es war von Anfang an klar, dass wir innerhalb weniger Jahre die Daten weiterer Satelliten archivieren müssen“, berichtet Curtis. „Mit Stornext können wir unser Archiv problemlos skalieren und sind damit auch in der Zukunft für neue Satellitenmissionen und noch mehr Daten gerüstet.“

Das Airbus-Team plant eine Ergänzung um weitere Stornext AEL6000-Archive mit LTO-7. „LTO-7 bietet eine mehr als doppelt so hohe native Kapazität und Geschwindigkeit wie LTO-6“, erläutert Curtis. „Die Entscheidung für diese LTO-Generation fällt bei einem wachsenden Archiv nicht schwer.“

Kontinuierlicher Ingest und Zugriff in Hochgeschwindigkeit mit Stornext

Airbus muss Satellitendaten kontinuierlich einspeisen und zurückladen können. Dank der Streaming-Performance des Stornext-Dateisystems ist das kein Problem. „Unsere aktuelle Konfiguration liefert mit dem Stornext File System eine Performance von 1,1 GByte pro Sekunde“, so Curtis.

„So können wir all die Rohdaten und verarbeiteten Daten, die wir erhalten, schnell einspeisen und auch zurückladen.“ In den meisten Fällen können einzelne Dateien aus dem Sentinel-Archiv in weniger als einer Minute geladen werden. Dank der Fibre Channel-Unterstützung lassen sich selbst große Datensätze schnell übertragen.

„Wenn ein Nutzer alle Daten aus einem bestimmten Jahr anfordert, sind das schnell 1,2 PByte“, sagt Curtis. „Über Fibre Channel bekommen wir die Daten schnell von den Tapes in den Blockspeicher, sodass wir sie dem Kunden rasch zur Verfügung stellen können.“

Unterstützung für eine breite Palette an Client-Systemen

Die heterogene Stornext-Lösung unterstützt mehrere Betriebssysteme. „Viele unserer Nutzer arbeiten mit Linux-Systemen, aber wir können auch die Windows-Nutzer nicht ignorieren“, meint Curtis. „Mit dem Stornext File System können wir alle gängigen Betriebssysteme unterstützen und müssen unsere Kunden nicht dazu zwingen, ihre Prozesse zu ändern.“

Langfristige Speicherung wertvoller Satellitendaten

Zur Sicherung der Datenintegrität setzt das Team von Airbus auf das Quantum Feature EDLM (Extended Data Life Management) der Stornext AEL6000. „Die archivierten Daten werden nicht oft zurück geladen. Wir müssen aber gewährleisten, dass sie im Bedarfsfall verfügbar und vollständig sind“, erläutert Curtis.

„Die regelbasierten EDLM-Funktionen des Stornext-Tape-Archivs helfen dabei, die Integrität der Daten auf den Bändern langfristig zu wahren. Werden bei einer Kassette Qualitätsprobleme festgestellt, migriert Stornext die Daten automatisch auf ein besseres Tape, ohne dass unsere Admins einen Finger rühren müssen.

EDLM ist ein absoluter Pluspunkt.“ Die Stornext-Funktionen für das Datenmanagement reduzieren den Administrationsaufwand. So kann Airbus Defence & Space das Archiv vergrößern, ohne dafür zusätzliches Personal einstellen zu müssen.

Mehr Flexibilität für unerwarteten Datenzuwachs

„Die Administrationskosten sind bei Stornext ziemlich niedrig“, berichtet Curtis. „Mit der Quantum- Lösung reichen zwei Mitarbeiter, um dieses wachsende PByte-Archiv mit Satellitendaten zu verwalten.“ Durch die Implementierung einer Stornext-Speicherlösung kann sich Airbus Defence & Space flexibel auf neue Anforderungen einstellen.

So plant die ESA z. B. die Einführung eines Relais-Satellitensystems, das den Speicherbedarf weiter erhöhen wird. „Die künftigen Relais-Satelliten ermöglichen eine weit größere Abdeckung und umfangreichere Downloads, selbst wenn der primäre Satellit keine Bodenstation sehen kann“, so Curtis.

Da das Relais-System dafür sorgt, dass die Daten die Bodenstationen erreichen, muss Airbus Defence & Space künftig mehr Daten speichern als zunächst gedacht. „Glücklicherweise können wir mit Stornext unsere Umgebung ganz einfach skalieren.

Kommentare werden geladen....

Was meinen Sie zu diesem Thema?

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45101872 / Langzeitarchivierung)