Neues redaktionelles E-Book „Global File Management – weltweite Datenverwaltung und -konsistenz“ Paradigmenwechsel fürs Datenmanagement

Anbieter zum Thema

Hammerspace

Scality SA

DataCore Software GmbH

Ein neues Zeitalter der Datennutzung ist angebrochen. KI, GPU-Computing, Data Lakehouses und andere Initiativen der digitalen Transformation erhöhen den Druck auf Unternehmen, umzudenken und grundlegend zu ändern, wie sie Daten verwenden und speichern. Global File Management hilft solchen Unternehmen, zunächst die Datensilos im eigenen Unternehmen zusammenführen und die vereinheitlichten Daten und Metadaten zu verschiedenen Zwecken nutzbringend einzusetzen.

Global File Management (GFM) beruht auf dem Begriff Global File System (GFS), sollte aber nicht damit verwechselt werden. Ein GFS lässt sich als Kernel-Modul auf Linux mounten, etwa auf Red Hat Enterprise Linux. Es verwaltet Files in einem verteilten Cluster von Nodes, wobei es darauf ankommt, einen Locking-Mechanismus auszuführen. Dieser Mechanismus sperrt eine Datei, während sie gerade von einem anderen Dienst oder einer Anwendung genutzt wird. Der Zweck besteht darin, keine widersprüchlichen Operationen zur selben Zeit auszuführen. Ein GFS wird häufig als Storage Area Network (SAN) realisiert.

Globale, weltweite Plattform

Global File Management geht weit über GFS-Operationen hinaus, auch wenn es sie voraussetzt. GFM verbindet ebenfalls Cluster und verteilte Standorte, um dort Dateien zu verwenden und zu teilen, die einem Locking-Mechanismus unterliegen. Zudem kommt die laufende Erzeugung von Metadaten zu allen Dateien hinzu, so dass wesentliche Nutzer- und Standortdaten immer in einem Datenkatalog vermerkt werden. In diesem Sinne ist ein GFM, auch als Global Data Platform bezeichnet, wirklich eine „globale, weltweite“ Plattform, die zahlreiche Zwecke erfüllen kann. Sie wird in der Regel als Enterprise-NAS (Network Attached Storage) realisiert. Datenvolumina im Bereich von mehreren Petabyte sind keine Seltenheit, so etwa bei der Meta Group.

So kann Global File Management nicht nur Cluster an verschiedenen Standorten auf der Welt verbinden und über die Metadaten bereitstellen, sondern auch Storage- und Rechenkapazitäten beispielsweise am Netzwerkrand (Edge) oder an mehreren verschiedenen Standorten (Multi-Site) hinzufügen. Eine der Bezeichnungen, die für diese Funktion genannt wird, lautet „Burst Computing“. Wie ein „Burst“ werden Rechenlasten je nach Bedarf von den hauseigenen IT-Systemen in die Public Cloud ausgelagert und nach der Abarbeitung der Workload wieder beendet. Auf diese Weise lassen sich Gebühren auf ein wirtschaftliches Minimum reduzieren.

Latenzzeiten verkürzen

Verwendet werden stets die gleichen Protokolle wie NFS 4.2, SMB und iSCSI oder FC. Inzwischen konnte NFS in Version 4.2 parallelisiert und verschlankt werden. Der Nvidia-Standard „GPUDirect“ greift – ohne Umweg über CPU und RAM – direkt auf die GPU zu, um die Transferrate für die Datenverarbeitung zu steigern. Durch die 2025 eingeführte Methode des LocalIO lässt sich die so erzielte Leistungssteigerung noch einmal steigern. (Alles Wissenswerte dazu lesen Sie im Kapitel „Herausforderung: Latenz“.)

Die Rolle von Metadaten

KI-Modelle, GPU-Cluster und Data Lakehouses integrieren die zahlreichen unterschiedlichen Datenquellen, mit denen heutige IT-Infrastrukturen zurechtkommen müssen. Metadaten bilden eine gemeinsame Sprache, mit denen Anwendungen, Dateien und Protokolle miteinander „kommunizieren“ können. Zugleich ermöglicht eine Skriptsprache, diese Metadaten für die Ausführung globaler Regeln und Richtlinien heranzuziehen.

Damit lassen sich beispielsweise so zentrale Aspekte wie Datensouveränität, Kosten, Leistung und Ressourcen optimieren, etwa durch Intelligent Tiering von Speicherklassen. Einsparungen von bis zu 30 Prozent sind nachgewiesenermaßen bereits realisiert worden, und zwar einfach durch die Datenverarbeitung an einem anderen Standort als bei einem Hyperscaler.

Zum Aufbau des E-Books

Dieses E-Book macht Sie mit dem Begriff Global File Management (im Unterschied zum Global File System) bekannt, beschreibt die Komponenten und Leistungsmerkmale. Kapitel 2 befasst sich mit den Lösungen, die ein GFM-System bezüglich Herausforderungen wie Latenz und Datenkonsistenz bietet. Die nachfolgenden Kapitel stellen drei verbreitete Vertreter von GFM-Systemen vor: Hammerspace, Arcitecta und Scality. Sie stehen stellvertretend für viele weitere Anbieter.

(ID:50633736)