Quantum Stornext 4.0, Teil 2 Der schnelle Datenzugriff auf Hunderte Millionen großer Dateien

Autor / Redakteur: Bernd Schöne / Rainer Graefen

50.000 verkaufte Lizenzen beweisen es – Spezialisten brauchen spezielle Werkzeuge. StorNext befriedigt gehobene Speicherbedürfnisse, auch wenn nicht alle Lizenznehmer unter dem Zwang stehen dürften, dass sie Hunderte Millionen Dateien verwalten müssen.

Firmen zum Thema

Über Metadaten und geclusterte Gateways zum schnellen, hochverfügbaren Dateizugriff.
Über Metadaten und geclusterte Gateways zum schnellen, hochverfügbaren Dateizugriff.
( Archiv: Vogel Business Media )

Shared-Filesysteme befriedigen die Forderungen nach schnellem Datenzugriff für Hunderte und sogar Tausende von Nutzern, indem das Dateisystem hostseitig Software-Agenten einsetzt. Diese gestatten mehreren Servern bei gleichzeitig hohem Datendurchsatz Zugriff auf das gemeinsam genutzte Dateisystem.

So richtig wohl fühlt sich StorNext deshalb in SANs mit Fibre-Channel oder iSCSI-Anbindung. Diese Umgebung garantiert geringste Latenz und höchstmöglichen Durchsatz und bremst das Dateisystem nicht aus.

Schnelligkeit zählt auch im Dateisystem

Geringste Latenz und höchster Durchsatz waren überhaupt der Grund, StorNext zu entwickeln. Sollten Engpässe entstehen, lassen sich diese durch Hinzufügen weiterer Host Bus Adapter (HBA) beseitigen und auf eine Übertragungskapazität von mehreren Gigabyte pro Sekunde steigern.

Ausreichend für so gut wie alle in der Praxis vorkommenden Anforderungen. Obwohl im SAN zu Hause verfügt StorNext seit der Version 3.0 auch über einen dezentralen Distributed LANClient (DLC).

Er kommt den Bedürfnissen jener entgegen, die aus historischen oder aus reinen Kostengründen in einer Mischumgebung arbeiten, und den weniger kritischen Datenverkehr nicht im SAN, sondern im LAN abwickeln.

Ein Filesystem für viele Client-Betriebssysteme

Verteilte Dateisysteme gibt es für fast alle Betriebssysteme, sie erlauben den nahezu transparenten Zugriff auf Dateien, die auf diversen File-Servern gespeichert sind. Bekannte Vertreter sind: UNIX, NFS (Network File System), AFS (Andrew File System), sowie Microsoft Windows NT.

Allerdings kommen die meisten dieser Dateisysteme nur mit einem Betriebssystem zu Recht. StorNext unterscheidet sich hier von den Mitbewerbern Es ist ein gut skalierbares Filesystem, das mit nur einem Namespace auf über verschiedene Standorte verteilte Disk- und Tape-Libraries zugreift.

StorNext ist nicht nur in der Lage, mehreren Clients gleichzeitig Zugriff auf denselben Inhalt zu ermöglichen, sondern auch einem Nutzer Zugriff auf eine bestimmte Datei über verschiedene Knoten zu gestatten.

High-Performance-Computing

High-Performance-Computing ist eine besondere Art von Rechentechnik. Sie geht in vielen Bereich ans Limit, ist in der Industrie, den Universitäten sowie Forschungseinrichtungen (High Performance Computing) zu Hause, verlangt Speichersystemen und Netzwerktechnik das Letzte ab.

Heterogene, historisch gewachsene Landschaften sind in diesen offenen Arbeitsgruppen die Regel. Ein Umfeld, mit dem die meisten File-Systeme nicht klarkommen. Die einen, weil sie vor der schieren Größe der Dateien in die Knie gehen, die anderen, weil sie mit der Vielzahl der beim Kunden vorhandenen Betriebssysteme nicht fertig werden.

StorNext FS wurde zunächst unter dem Namen CentraVision (CVFS)von Advanced Digital Information Corporation (ADIC) vertrieben. Nach deren Übernahme durch Quantum wurde es zum Bestandteil des Quantum Portfolios, dort weiter gepflegt und ist seit dem Frühjahr 2010 in der Version 4.0 verfügbar. Nun mit deutlich vergrößertem Pointerraum.

StorNext kommt mit Hunderten von Millionen Dateien im Zugriff von tausenden Nutzern genauso zurecht wie mit den Riesenfiles der Medienschaffenden. Mit mehr als 50.000 verkauften Lizenzen und über 4.000 Kundeninstallationen hat das Filesystem schon heute eine kleine, aber zahlungskräftige Kundschaft. Mit einigen Tausend Dollar für die Software beginnt die StorNext Welt, nach oben gibt es keine fixe Grenze.

weiter mit: Ungehemmte Kommunikation

Ungehemmte Kommunikation

Bei der Konfiguration ist sorgfältige Vorarbeit gefragt. Der Anwender muss hier eine Fülle von Entscheidungen treffen, etwa über Anzahl und Häufigkeit der Sicherungskopien sowie deren Standort.

Gesteuert wird StorNext über ein webbasiertes graphisches Nutzerinterface (GUI) oder auch über die Kommandozeile. Alle wesentlichen Arbeiten können so bequem per Mausklick erledigt werden. Das spart im Vergleich mit Shared-Filesystemen alter Bauart Zeit und entlastet den Administrator.

Weiteres wichtiges Entscheidungsmoment des Aufgabenbereiches „Wissenschaft, Fernsehen und unstrukturierte Daten“ ist die Leistungsfähigkeit im Speichernetz. Hier ist der Distributed LANClient in seinem Element, der einen StorNext-Netzwerktreiber darstellt, der direkt mit dem Speicherpool kommuniziert.

Distributed LAN Client

Nicht immer wird die Performance eines SAN benötigt. Dies gilt zum Beispiel im HPC-Umfeld, wo die Rohdaten zerlegt und oft zunächst langwierig und unter hoher CPU-Auslastung bearbeitet werden müssen.

Etwa bei der Verarbeitung von seismischen Daten oder dem Rendering von Filmbildern. Hier bietet sich das LAN als preiswerte Alternative zum SAN an, das seine Vorteile erst nach Ende der Bearbeitung ausspielen kann.

Um den Anforderungen dieser Mischumgebungen gerecht zu werden, verfügt StorNext ab der Version 3.0 über dezentrale Distributed LAN Clients (DLC).

DLC ist eine Variante des StorNext-Dateisystem-Codes, die es Servern in einem IP-Netzwerk ermöglicht, über ein Clustered-Gateway auf den StorNext-Speicher zuzugreifen.

Ein solches Gateway ist ein SAN-Client, der direkt via Fibre Channel mit dem gemeinsamen Speicherpool verbunden ist, dabei aber prioritär den Distributed-LAN-Client-Verkehr bedient und nicht durch Kundenanwendungen belastet ist.

Schnelle Recherche im SAN

Dadurch kann man die Arbeitslast verteilen und gegebenenfalls sogar zwei Netzwerkkarten in einem System installieren. Während für Büroanwendungen netzwerkfähige File SystemProtokolle wie NFS (Linux/UNIX) oder CIFS (Windows) mit Durchsatzraten von 50 bis 70 Megabyte pro Sekunde (NFS) bzw. 35 Megabyte pro Sekunde (CIFS) über eine ein Gigabit Ethernet-Verbindung erzielbar sind, sind im SAN höhere Durchsatzraten und niedrigere Latenzzeiten wünschenswert.

StorNext erreicht dies, eine entsprechende Anzahl FC-HBAs vorausgesetzt, durch einen Datendurchsatz von theoretisch bis zu 16 GByte/s. 95 bis 99 Prozent davon stehen dem Nutzer in der Praxis tatsächlich zur Verfügung.

Der Datenzugriff läuft wie folgt ab:

  • 1. Eine Anwendung gibt einen Schreibbefehl aus.
  • 2. Der StorNext-Client richtet via LAN eine Dienstanforderung an den Metadata Controller (MDC).
  • 3. Der MDC verarbeitet die Anfrage und gibt per LAN zurück, welche Blöcke beschrieben werden können.
  • 4. Der StorNext-Client erhält die Positionen der Datenblöcke.
  • 5. Der StorNext-Client gibt Schreibvorgänge über ein oder mehrere Clustered-Gateway(s) aus.

Anders als bei herkömmlichen CIFS/NFS-basierten Data-Sharing nutzt der DLC von StorNext ein spezialisiertes, Block-basiertes IP-Protokoll. Es bietet eine höhere Performance pro Datenstrom. Außerdem ist die Kommunikation über dieses spezielle Protokoll ausfallsicherer als bei herkömmlichen Lösungen.

Geclusterter Datenzugriff

Es erzielt nahezu Nearline-Durchsatz über Standard-IP-Netzwerkverbindungen. Die Ausfallsicherheit ist dadurch gewährleistet, dass jeder LAN-Client automatisch mehrere geclusterte Gateways kontaktiert.

Fordert der LAN-Client Datenzugriff an, so verteilt er seine I/Os gleichmäßig auf die verfügbaren Gateways. Sollte ein Gateway nicht verfügbar sein, werden die hierüber geleiteten I/O-Vorgänge per Failover auf die anderen Gateways verlagert.

StorNext löst Aufgaben oft anders als vergleichbare Dateisysteme. Ein wichtiger Aspekt ist die Steuerung aller Funktionen über Regeln. Ohne sie läuft wenig bei StorNext. Wo man sie überall benötigt, dass erfahren Sie in Teil 3.

(ID:2050867)