Dateisysteme, Cloud-Speicher und lokale Speicherlösungen für große Datenmengen: Oracle/Sun QFS, Fujitsu Exabyte File System, Amazon EFS, Azure Data Lake, IBM FlashSystem, Cray Cluster Store Datenmengen im Petabyte-Umfang effektiv speichern – Teil 4

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

Impossible Cloud GmbH

Im vierten Teil unserer Reihe zur Datenspeicherung von Daten im Petabyte-Bereich befassen wir uns mit weiteren Dateisystemen, Cloud-Speichern in diesem Bereich und neuen Speichersystemen.

In den ersten drei Teilen dieses Beitrags haben wir uns mit Dateisystemen befasst, die Daten im Petabyte-Bereich nicht nur theoretisch speichern können, sondern auch in der Lage sind, den benötigten Speicher den Anwendern und Workloads schnell und stabil zur Verfügung zu stellen. Den Abschluss machen weitere Dateisysteme sowie Cloud- und On-Premises-Speicherlösungen.

Dateisystem: Oracle/Sun Quick File System (QFS)

Bei Quick File System (QFS) handelt es sich um ein Dateisystem von Sun Microsystems. Durch die Übernahme von Sun Microsystems durch Oracle wurde das Open-Source-Dateisystem in die Produktlinie von Oracle übernommen. Das Dateisystem ist Bestandteil von SAM-QFS (Storage and Archive Manager). Hierbei handelt es sich um ein hierarchisches Speichermanagementsystem.

Dateisystem: Fujitsu Exabyte File System

Beim Fujitsu Exabyte File System (FEFS) handelt es sich um ein skalierbares, paralleles Dateisystem, das auf Lustre basiert. Wir haben Lustre bereits im dritten Teil unserer Reihe vorgestellt. Das Dateisystem ist optimiert für Fujitsu-HPC-Cluster. Unternehmen können ihre Speicherbereitstellungen horizontal skalieren. FEFS unterstützt Systeme mit bis zu 8 Exabyte (8.000 PB) Kapazität und 1 TB/s. Zusätzlich verfügt FEFS über Funktionen wie integrierte Hochverfügbarkeit aller Komponenten, Fair-Share-E/A-Verwaltung und Quoten auf Verzeichnisebene.

FEFS stellt Dateifreigaben zwischen einem HPC-Cluster-System mit FEFS-Server und FEFS-Client bereit. Der FEFS-Client arbeitet auf Rechenknoten und Anmeldeknoten, die mit hoher Geschwindigkeit verbunden sind. Das System nutzt InfiniBand und bietet transparenten Dateizugriff auf FEFS-Server. Der FEFS-Server umfasst Metadatenserver (MDS) und Objektspeicherserver (OSS) für Hochleistungsdaten. Mit redundanter Konfiguration von MDS und OSS bietet FEFS Hochverfügbarkeit und Failover-Funktionen. Die Systemkapazität und -leistung können dynamisch verändert werden.

experte Dateisysteme für große Datenmengen: MooseFS, BeeGFS, Lustre, Google File System, XtreemFS

Datenmengen im Petabyte-Umfang effektiv speichern – Teil 3

Cloud-Speicher: Amazon Elastic File System (EFS)

Bei Amazon Elastic File System (EFS) handelt es sich um ein skalierbares und verwaltetes NFS-Dateisystem in AWS. Administratoren können also selbst nicht in die Konfiguration von EFS zugreifen. Aktualisierung, Verwaltung und Patchen des Dateisystems werden von Amazon übernommen. Die Verwaltung läuft über Schnittstellen, mit denen Administratoren und Entwickler das System konfigurieren können.

Das System ist für die Verwendung von Cloud-Ressourcen in AWS optimiert. Die Skalierung erfolgt automatisch. Mit EFS lassen sich mehrere tausend VMs in EC2 anbinden. Die VMs erhalten parallelen Zugriff und hohen Durchsatz. Das System ist aber nicht lokal auf eigenen Servern einsetzbar, sondern ausschließlich in der Amazon-Cloud (AWS).

Cloud-Speicher: Azure Data Lake

Bei Azure Data Lake handelt es sich um einen Speicherbereich in Microsoft Azure, der nahezu beliebige Daten in unbegrenzter Menge speichern kann. Der Dienst kann auch gestreamte Datenmengen speichern und stellt seine Funktion für andere Dienste in Microsoft Azure zur Verfügung. Azure Data Lake kann Daten im Petabyte-Bereich speichern. Zusätzlich zu Hadoop unterstützt Azure Data Lake auch Spark, Storm, Flume, Sqoop, Kafka und andere Lösungen für Big Data, die mit Hadoop zusammenarbeiten.

Storage-Solution: IBM FlashSystem 7200, 9200 und 9200R

Es gibt viele Speicherlösungen von großen Anbietern wie HPE, Dell oder IBM, mit denen sich Daten in großer Menge speichern lassen. Die neuen Speichersysteme FlashSystem 7200, 9200 und 9200R von IBM unterstützen bis zu 4 Petabyte. Die Server basieren auf der Plattform Spectrum Virtualize. Die Storage-Systeme lassen sich in verschiedenen Bereitstellungsarten nutzen. Neben der Installation über Bare-Metal, kann die Umgebung auch virtualisiert und als Cloud-System gebucht werden. Auch Hybrid-Lösungen und Multi-Cloud-Anbindung ist möglich.

Die Systeme bauen auf FlashCore-Module auf und stehen natürlich als Racklösung zur Verfügung. Neben FlashCore werden in dem System auch Non-Volatile Memory Express (NVMe), Storage Class Memory (SCM), eine KI-basierte, vorausschauende Speicherverwaltung sowie die aktive Unterstützung durch Storage Insights bereitgestellt. Das FlashSystem wird assembliert geliefert, wobei Installation und Konfiguration von IBM durchgeführt werden.

experte Dateisysteme für große Datenmengen: IBM GPFS, GlusterFS, Isilon OneFS, CephFS, ZFS

Datenmengen im Petabyte-Umfang effektiv speichern – Teil 1

Storage-Solution: Cray Cluster Store für ein Exabyte und mehr

Der Supercomputerhersteller Cray baut für das Department of Energy (DOE) und das Oak Ridge National Lab (ORNL) eine Exabyte-Speicherlösung. Das Cray-ClusterStor-Speicherdateisystem wird als Teil des Frontier-Exascale-Supercomputers von ORNL integriert, der auf der Shasta Architektur von Cray aufbaut. Das Frontier-System wird voraussichtlich 2021 fertiggestellt.

Die neue Speicherlösung wird auf der nächsten Generation der ClusterStor-Speicherlinie von Cray basieren und aus mehr als einem Exabyte (EB) Hybrid-Flash und Speicher mit hoher Kapazität bestehen. Als Dateisystem wird Lustre eingesetzt. Verglichen mit dem Speicher für den aktuellen Summit-Supercomputer des ORNL, ist diese Lösung mehr als viermal so leistungsfähig und mehr als viermal so durchsatzstark. Die Speicherlösung wird aus über 40 Speicherschränken bestehen und mehr als 1 EB Gesamtkapazität über zwei Speicherebenen bieten.

experte Dateisysteme für große Datenmengen: Quantum StorNext FS, HDFS, HPE MapR, Qumolo QF2, Microsoft ReFS

Datenmengen im Petabyte-Umfang effektiv speichern – Teil 2

(ID:46574206)