Scale-out NAS für professionelle Anwender

Panasas HPC-Speicher bringt parallelen Datenzugriff in Medienbranche und Industrie 4.0

| Autor / Redakteur: Kriemhilde Klippstätter / Rainer Graefen

Panasas ActivStor: Das proprietäre DirectFlow-Protokoll wird auf jedem Anwendersystem installiert und sorgt zusammen mit dem File-System PanFS dafür, dass der parallele Zugriff zum Lesen und Schreiben möglich ist.
Panasas ActivStor: Das proprietäre DirectFlow-Protokoll wird auf jedem Anwendersystem installiert und sorgt zusammen mit dem File-System PanFS dafür, dass der parallele Zugriff zum Lesen und Schreiben möglich ist. (Bild: Panasas)

Lange Jahre lang bediente Panasas vor allem universitäre Einrichtungen oder staatliche Forschungseinrichtungen wie das Alamos National Lab mit ihren „Network Attached Storage Devices“ für High-Performance-Computing (HPC). Jetzt ist der Markt aber reif für kommerziell genutztes HPC glauben die Verantwortlichen bei Panasas und stellen eine neue NAS-Familie vor.

Panasas wurde 1999 von Garth Gibson gegründet, der sich schon 1980 einen Namen als Ko-Autor der „Raid-Papers“, veröffentlicht von der Universität von Kalifornien, Berkeley, machte. 1995 begann an der Carnegie Mellon University in Pittsburgh, Pennsylvania, die Entwicklung von NASD-Speichern (Network Attached Storage Device), an der Gibson als erster Direktor des Parallel Data Laboratory Anteil hatte.

1999 gründete er zusammen mit William Courtright in Pittsburgh das Startup-Unternehmen Panasas mit Geld von Venture Capital Gebern. Ein Jahr später wurde das Office im kalifornischen Sunnyvale eröffnet, heute die Zentrale von Panasas. Es dauerte fast fünf Jahre, bis das erste Produkt vom Typ Scale-out NAS geliefert werden konnte, das an das Los Alamos National Lab ging.

Parallelität beim Speichern und Wiederfinden

Um die große Datenmenge, die High-Performance-Computing erzeugt, adäquat abspeichern zu können, hat Panasas ein parallel arbeitendes Filesystem (PanFS) entwickelt. Es erlaubt es den Anwendern, direkt auf ihre Daten zugreifen zu können – und zwar parallel.

Der in kommerziellen Speichern sonst übliche NAS-Head, der die Leistung bestimmt, entfällt. Und damit entfällt auch der Flaschenhals zwischen Rechnersystemen und Raid-Speichern. Bei Panasas-Speichern werden zudem Nutz- und Metadaten getrennt, wobei letztere auf schnellen Direktoren abgelegt sind. Damit erreichen die High-Performance-Speicher beste Services für die Metadaten und also schnelle Sicherung und Wiederfindung der Nutzdaten.

Die HPC-Speicher „ActiveStor“ teilen sich in Direktor- und Speicherknoten auf. Die Direktoren können als Kontrollinstanz des Parallel File Systems (PanFS) bezeichnet werden. Sie verarbeiten alle Metadaten wie Directories, File-Namen, Zeitstempel oder die Zugriffskontrolle. Außerdem koordinieren sie die Aktionen der Anwender, um eine letztgültige Sicht auf die Daten und Koherenz im Daten-Cache zu gewährleisten.

Ein Königreich für den Storage Cluster

Eine weitere wichtige Aufgabe der Direktoren ist es, sich um den Speicher-Cluster – Panasas nennt es „realm“ – zu kümmern. Hier fallen Aufgaben an wie die automatische Kapazitätsverteilung, die File-Wiederherstellung oder die automatische Fehlerbehebung im Speicher-Cluster.

Die Storage-Knoten erlauben es den Anwendern, auf die gewaltigen Datenmengen parallel zuzugreifen oder sie dort abzulegen. Außerdem sind auf den Speichereinheiten auch die Metadaten abgelegt, die dort aber nicht verarbeitet werden, sondern in den Direktoren. Das API basiert auf den Definitionen des T10 SCSI- Komitees für Object-based Storage Devices, die von Panasas und da insbesondere vom Firmengründer Garth Gibson mitentwickelt wurden.

Herzstück der parallelen Speicherung ist - neben dem File-System - das „DirectFlow“-Protokoll der Company. Es unterstützt alle POSIX-konformen Sprachen. Das proprietäre Protokoll läuft auf jedem Computersystem der Anwender und sorgt für die parallelen Lese- und Schreibzyklen. Es unterstützt auch Linux- und MacOS-Systeme. Panasas ist stolz darauf, dass die Company das parallele Filesystem „pNFS“ mitentwickelt hat, das auf dem hauseigenen DirectFlow basiert.

Datensicherheit und einfache Benutzung

Aus Performancegründen wird jedes File über ein Subset auf Speicherknoten verteilt abgelegt. Dabei ist jedes File durch seinen eigenes verteiltes Erasure Coding geschützt. Im Fall eines Fehlers muss also nicht ein ganzes Laufwerk wiederhergestellt werden. Snapshots erlauben es den Anwendern, auf frühere Versionen eines Files zuzugreifen. Die Architektur ist „always on“ verspricht der Hersteller und verweist auf die „Extended File System Availability“. Damit kann bei einem größeren Ausfall, wenn mehrere Files verloren sind, die Namen der Pfade angezeigt werden, so dass man eine Übersicht der verlorenen Files erhält.

Trotz aller Feinheiten soll das Speichersystem einfach und in nur einer Stunde zu installieren sein. Neue Speicherknoten werden automatisch erkannt und vereinfachen die Erweiterung. Der gesamte Cluster wird von einer grafischen Anwenderschnittstelle aus verwaltet. Bei auftretenden Fehlern greift eine Automatik für die Fehlerbehebung ein. Kapazitäts- und Lastverteilung wird ebenfalls von den ActiveStor-Direktoren gemanagt.

Kommerzielle Anwendungen sind jetzt reif für HPC-Speicher

Panasas sieht sich mit den neuen Speicher-Systemen – ActiveStor Director 100, den passenden Speicherknoten Hybrid 100 und der neuen Version 7 von PanFS – bereit, auch Anwender im kommerziellen Umfeld zu bedienen. „Die wachsende Zahl kleiner Files, die gespeichert werden müssen, stellt die Metadaten-Verwaltung herkömmlicher NAS-Speicher vor immense Probleme, die wir lösen“, beschreibt Panasas-CEO Faye Pairman einen der Vorzüge. Ein anderer ist die Ablösung von kaskadierten Speichern (multi-tier storage), deren Workflow und Verwaltung durch die neuen Herausforderungen ineffizient werden.

Neben den bisherigen Kunden aus dem Umfeld von universitärer Forschung und staatlichen Stellen, sieht sie die neuen ActiveStor-Systeme als besonders geeignet für Media und Entertainment, Life Science und Manufacturing. Industrie 4.0 verlangt in Zukunft wohl auch eine neue Speicherarchitektur.

* Kriemhilde Klippstätter ist freie Autorin und Systemischer Coach (SE) in München.

Kommentare werden geladen....

Was meinen Sie zu diesem Thema?

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45082677 / NAS)