Quantum Stornext 4.0, Teil 4

3D, Human Genom oder Cloud Business, wer sprengt als erster den Stornext-Adressraum?

05.08.2011 | Autor / Redakteur: Bernd Schöne / Rainer Graefen

StorNext High Speed Shared Filesystem
StorNext High Speed Shared Filesystem

Auch High Performance Dateisysteme kennen Grenzen bei der Ablagemenge und Größe von Dateien, auch wenn kaum jemand glaubt, dass man einen Adressraum von 100 Zetabyte-Files je ausloten könnte. Aber das war noch bei allen Grenzen in der IT der Fall.

Unter den StorNext Kunden wetteifern das Humane Genomprojekt und die 3D-affine Filmindustrie darum, wer diese Grenze im Zetabyte-Jenseits als Erster durchbrechen wird. Einige Jahre wird das noch dauern.

Laut IDC wird allerdings schon in diesem Jahr das weltweite Datenvolumen die Zetabyte-Latte überspringen. Ein nicht unerheblicher Teil dieser Datenmenge sind Metadaten, die inzwischen doppelt so schnell wachsen, wie die eigentlichen Daten.

Große und sehr große Dateien

Zu den Anwendern von StorNext gehören einige der größten Fernsehanstalten der Welt. Auch in Deutschland hat das Filesystem im Markt der Medienschaffenden gut Fuß gefasst, vorausgesetzt, man kann es sich leisten.

Hier sind es vor allem die Vielzahl der jeweils, etliche Terabyte großen, Einzeldateien, die für StorNext sprechen. Da sich immer mehr Anstalten vom klassischen Videoband als Speichermedium verabschieden, und direkt aus der EDV senden, verspricht dieser Markt enorme Zuwachsraten, auch wenn längst nicht alle technischen Fragen geklärt sind.

Vor allem die Erfassung der gigantischen Archive und die effiziente Durchfoorstung der Metadaten stellt die Planer vor technische, aber auch finanzielle Herausforderungen. Ein weiterer Anwendungsschwerpunkt von StorNext sind Forschungsbereiche, die enorm viele Daten produzieren.

So nutzt das Swiss Institute of Bioinformatica (SIB), eine Organisation mit 29 Einzelinstituten und 400 Forschern, die auf dem Gebiet der Lebend-Wissenschaften tätig sind, das Filesystem von Quantum zur Archivierung seiner Forschungsergebnisse.

Ein einziges Genom-Experiment belegt dann zwar nur zwei Terabyte Speicherkapazität, das allerdings besteht dann aus 743.000 Files und. Zwei Experimente pro Woche sind im SIB üblich. Das ist viel, lässt sich aber noch toppen. Videodateien, vor allem solche in 3D, sind oft noch wesentlich größer und erreichen einige zig Terabyte.

Aktuelle Grenzwerte

Auch ein Dateisystem für extrem große Datenmengen hat Grenzen. Bei StorNext sind es 512 LUNs pro Filesystem und 128 LUNs pro Stripegroup bzw. 256 Stripegroups pro Filesystem. Die maximale Größe ist auf 512 Disks pro Filesystems beschränkt. Die Obergrenze des Filesystems liegt bei acht Petabyte (512 LUNs x 16 TByte pro LUN).

In der Version 4.0 wurde der Pointerraum deutlich vergrößert. StorNext verwendet nun 1024 Bit lange Pointer, davor mussten 512 Bit genügen. Die technische Obergrenze der gleichzeitig nutzbaren Filesysteme ist abhängig von der Leistungsfähigkeit des Meta Data Controller (Anzahl der Prozessoren und Größe des RAM Speichers).

In einigen Unternehmen existieren heute schon Storage-Installationen mit bis zu 20 Filesystemen pro Metadata Controller Appliances (FS/MDA) in einer „Filesystem only“ Konfiguration und 12 in einer Storage-Manager-Konfiguration.

Der Speicherpool lässt sich unterschiedlich organisieren. Befinden sich in einem Disksystem zum Beispiel viele RAID-Gruppen, kann es sinnvoll sein, diese logische wieder in mehreren Stripegroups zusammenzufassen. StorNext kann die Disk-Ressourcen aber auch zu einer Stripegroup zusammenfassen, um so ein einziges, großes Filesystem über den Speicherpool zu bilden.

Den Sprung ins Grid hat StorNext bislang noch nicht geschafft, zumindest sind dergleichen Anwendungen bislang nicht bekannt. Allerdings: Der Datamover des Metadaten-Controllers verteilt die I/O Ströme der bis zu 256 angeschlossenen Tapedevices geschickt über die Bestandteile der Rechnerfarm. Das ist auch eine Art GRID, allerdings nur für den Hausgebrauch innerhalb der eigenen Firma.

Kommentare werden geladen....

Was meinen Sie zu diesem Thema?

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 2051370 / Datei-Virtualisierung)