Moderne Speicherlösungen als strategisches Fundament Cloud- und KI-Workloads definieren Primärspeicher neu

Anbieter zum Thema

Seagate Technology (Netherlands) BV (Germany Branch)

DataCore Software GmbH

FAST LTA GmbH

Die Anforderungen an Speicherinfrastrukturen verändern sich rasant. Künstliche Intelligenz (KI), datenintensive Anwendungen und hybride Cloud-Modelle treiben das Datenwachstum auf ein neues Niveau – und erhöhen gleichzeitig die Ansprüche an Skalierbarkeit, Sicherheit und Energieeffizienz. Studien unterstreichen, dass Unternehmen ihre Speicherkapazitäten in den kommenden Jahren deutlich ausbauen (müssen).

Gleichzeitig wächst der Fokus auf intelligentes Datenmanagement, Cyber-Resilienz und Storage-as-a-Service. Moderne Speicherlösungen werden damit zum strategischen Fundament für leistungsfähige Cloud-Architekturen und eine nachhaltige Datenstrategie.

Im Hinblick auf Speicherinfrastrukturen sind Hyperscaler dabei in einer Führungsrolle. Sie treffen ihre Entscheidungen auf Basis von Wirtschaftlichkeit, Software-Orchestrierung und Hardware-Fähigkeiten. Diese stehen im Vordergrund und müssen aufeinander abgestimmt sein, um Leistung, Effizienz und den Wert der Daten zu maximieren. Diese Abstimmung ist noch wichtiger geworden, seit KI-Workloads die Datensätze und die Zugriffshäufigkeit weiter erhöhen. Dies gilt auch für Kontextfenster, Parallelität, Aufbewahrungsdauer sowie die Anforderungen an gemeinsam genutzte Speichersysteme. Damit veränderte sich auch die Bedeutung des Begriffs Primärspeicher grundlegend.

Historisch gesehen bezog sich die Definition eines Primärspeichers auf eng gekoppelte Block- oder Dateisysteme, die sich in unmittelbarer Nähe der Rechenressourcen befanden. In Cloud- und KI-Umgebungen wird Primärspeicher jedoch zunehmend zu Software-definierten, weltweit verteilten Architekturen. Objektspeicher sind ein persistentes Aufzeichnungssystem, das enorme Datenmengen über verschiedene Workloads hinweg speichert und bereitstellt.

Skalierbarkeit verändert das Speicherparadigma

Jahrzehntelang funktionierte das Ökosystem nach einem gemeinsamen Standard: dem Portable Operating System Interface (POSIX). Im Vordergrund standen dabei eine hohe Konsistenz beim Lesen nach dem Schreiben, synchrone Dateisperren und hierarchische Verzeichnisstrukturen.

Mit Aufkommen des Cloud-Modells änderten sich jedoch maßgebliche Kompromisse. Systeme im Cloud-Maßstab wurden für grundlegend andere Größenordnungen, Verteilungsmodelle und Kostenstrukturen entwickelt. Cloud-Plattformen müssen hochskalierbar sein – und wurden auf Dutzende bis Hunderte von Exabyte erweitert. In dieser Umgebung führt der Koordinationsaufwand eng gekoppelter Designs zu einer höheren Latenz und setzt dem Wachstum praktische Grenzen. Bei modernen KI-Workloads, die weitaus größere Datensätze, Check-Pointing, Token-Verarbeitung, Inferenz und hochparallele Datenpipelines erfordern, erhöhten sich diese Belastungen weiter.

Von Google Cloud Storage (GCS) und Colossus bis hin zu Microsoft Azure Blob, Amazon S3 und Tectonic von Meta führten Cloud-Plattformen Software-definierte Architekturen ein. Sie eignen sich speziell für weltweit verteilte Daten- und Hyperscale-Workloads. Im Laufe der Zeit verfeinerten sie diese Modelle für eine höhere Skalierung und weitere Anforderungen. Bei diesem neuen Szenario ist Software für die Orchestrierung, Ausfallsicherheit und den Datenfluss verantwortlich. Damit lassen sich Speichermedien so effizient wie möglich nutzen.

Festplatten sind die Basis für skalierbare Datenspeicherung

In Cloud-Architekturen wie den oben genannten sind Festplatten die Basis, um große Datenmengen zu speichern. Dies reflektiert die wirtschaftlichen Gegebenheiten ebenso wie die physikalischen Gesetze der Speicherung mit hoher Speicherdichte. Moderne Festplatten mit hoher Speicherkapazität nutzen Technologien wie Shingled Magnetic Recording (SMR) und Heat-Assisted Magnetic Recording (HAMR). Damit sind Unternehmen und Hyperscaler in der Lage, die Speicherdichte pro Flächeneinheit kontinuierlich zu steigern – und erhalten so Speicherkapazitäten im Exabyte-Bereich. In dieser Größenordnung dienen Festplattenflotten als primäres Speichersystem mit einer Reihe von Vorteilen. Sie bieten beispielsweise eine lange Lebensdauer, gepaart mit Kosteneffizienz und hoher Speicherdichte. Andere, alternative Speichertechnologien können hier nicht mithalten.

Aus ebendiesem Grund werden in großen Rechenzentren 87 Prozent der Exabytes auf Festplatten gespeichert. Da Cloud-Umgebungen auch künftig wachsen und gleichzeitig KI-Workloads immer größere Datenmengen benötigen, speichern und wiederverwerten, gewinnen die Vorteile von Festplatten weiter an Bedeutung – wenn die Software-Architektur auf die Stärken von Festplatten mit hoher Kapazität abgestimmt ist.

Herkömmliche POSIX-Zugriffsmuster sind bei extremer Skalierung nicht immer optimal auf diese Stärken abgestimmt. Moderne Software-definierte Cloud-Plattformen lösen dieses Problem: Sie basieren ihre Speicher-Stacks auf Festplatten. So priorisieren sie sequenzielle Datenströme mit hohem Durchsatz – und sind gleichzeitig wirtschaftlich.

Ein Beispiel ist Amazon S3. Der Dienst speichert 500 Billionen Objekte und bedient 200 Millionen Anfragen pro Sekunde. In einer kürzlichen Keynote auf der „AWS re:Invent“ lüftete das Unternehmen sein „Geheimnis“ hinsichtlich der Cloud-Speicherleistung. Es liegt darin, Software zu schreiben, die für die Fähigkeiten der Festplatte optimiert ist. Anstatt die Festplatte quasi zu zwingen, sich an Software-Abstraktionen anzupassen, die für eine andere Ära konzipiert wurden, sind moderne Cloud-Architekturen so ausgelegt, dass sie die Stärken moderner Festplatten mit hoher Speicherdichte ergänzen.

Cloud-Architekturen erschließen Festplatten-Effizienz

Dieses technische Konzept nimmt verschiedene Formen an, spiegelt sich jedoch bei den führenden Cloud-Plattformen in vier architektonische Prinzipien wider.

1. Unveränderlichkeit von Objekten begünstigt sequenzielle Datenflüsse

Dienste wie GCS und Amazon S3 sind darauf ausgelegt, Objektunveränderlichkeit und versionierte Aktualisierungen zu unterstützen. Sobald Daten in einen Objektspeicher geschrieben sind, wird in der Regel eine neue Version des Objekts geschrieben – und somit aktualisiert.

Cloud-Architekturen verlagern so einen größeren Teil der Festplatten-Arbeitslast auf große, sequenzielle Datenströme. Gleichzeitig reduziert sich damit der Bedarf zufälliger Binärschreibvorgängen an Ort und Stelle. Dies passt sich der Arbeitsweise von Laufwerken mit hoher Kapazität an, die einen entsprechenden Durchsatz und Skaleneffekte erzielen. Ein solcher Vorteil gewinnt bei KI-Workloads immer mehr an Bedeutung, da Check-Pointing, die Verschiebung von Datensätzen und parallele Pipelines einen anhaltenden Druck auf gemeinsam genutzte Speichersysteme ausüben können.

2. Metadaten: zunehmend von separaten oder verteilten Steuerungsdiensten verwaltet

In einer traditionellen POSIX-Umgebung verwalten Speichersysteme oft sowohl Datei-Metadaten als auch -Nutzdaten auf eng gekoppelte Weise. Hyperscale-Cloud-Plattformen veränderten dies, indem sie Metadaten-Dienste vom Kapazitätsspeicher trennen. Damit wird ein Großteil der Nachverfolgung und Koordination in schnellere, skalierbarere Steuerungsebenen verlagert, anstatt die Last den Festplatten selbst zu überlassen.

Google Cloud Colossus verlagert beispielsweise einen großen Teil der Arbeit in speicherresidente Dienste, während Meta Tectonic Metadaten – innerhalb eines verteilten Dateisystemmodells – in zustandslose Mikrodienste aufteilt. Diese laufen auf einem horizontal skalierbaren Key-Value-Store. Das Ergebnis ist ein geringerer struktureller Overhead auf den zugrunde liegenden Festplatten. Sie können so dichte, effiziente Kapazität in großem Maßstab bereitstellen.

3. Erasure-Codierung stärkt die verteilte Ausfallsicherheit

Ein drittes Prinzip ist der Einsatz von Erasure-Codierung und einer breiten Datenverteilung. Groß angelegte Speichersysteme werden dadurch widerstandsfähiger und effizienter. Cloud-Architekturen reduzieren die Anfälligkeit durch Erasure-Codierung und eine breite Datenverteilung. Indem sie Objekte auf viele Festplatten verteilen, isolieren diese Systeme lokale Engpässe und erhalten die Datenbereitstellung auch bei kurzen Latenzspitzen aufrecht. Bei Bedarf lassen sich Daten auch rekonstruieren. Dadurch ist die Speicherschicht widerstandsfähiger. Dies trägt auch dazu bei, den Durchsatz bei gemischten Cloud- und KI-Workloads beizubehalten.

4. Mehrstufiger Datenpfad

Ein viertes Prinzip fokussiert sich darauf, wie Daten zwischengespeichert werden, bevor sie die Kapazitätsmedien erreichen. Um die Lücke zwischen unvorhersehbarem Datenverkehr und der strukturierten Umgebung zu überbrücken, die Festplatten mit hoher Speicherdichte am besten handhaben, nutzen moderne Architekturen einen mehrstufigen Datenpfad. Dieser bezieht Flash- oder Arbeitsspeicher ein, um so die Dateneingabe zu puffern und die Datenplatzierung zu optimieren.

Eine Flash-Ebene gleicht schwankende Ankunftsraten aus API-Datenverkehr und Anwendungsschreibvorgängen aus. Sie speichert Daten zwischen und organisiert den eingehenden Datenfluss, bevor dieser auf Speichermedien weitergeleitet wird. Im Hintergrund werden diese Daten auf Basis automatisierter Prozesse in langen, sequenziellen Durchläufen auf Festplatten-Arrays geschrieben.

Bei KI-Workloads, bei denen Dateneingabe, Check-Pointing sowie das Verschieben von Datensätzen besonders sprunghaft verlaufen können, gewinnt diese Pufferfunktion an Bedeutung. Sie trägt dazu bei, sowohl eine Dateneingabe mit geringer Latenz als auch eine effiziente Auslastung der Festplatten aufrechtzuerhalten.

Neues Primärspeicher-Modell

Diese architektonischen Veränderungen prägten auch die Definition von Primärspeichern neu. Heute werden Primärspeicher zunehmend Software-definiert, wobei Objektdienste, Metadatenebenen, Flash-Buffering und Festplatten mit hoher Kapazität als koordiniertes System zusammenarbeiten.

Konvergenz von Objektspeicher und Dateisemantik

Da Objektspeicher im Laufe des letzten Jahrzehnts eine immer zentralere Rolle in Cloud-Architekturen und in jüngerer Zeit auch in KI-Workflows einnehmen, sind hochleistungsfähige, parallele Dateisysteme ein weiterer wichtiger Trend. Systeme wie Lustre, Weka und VAST maximieren die Leistung für eng gekoppelte Workloads.

Gleichzeitig entwickeln sich auch Objektspeicherplattformen weiter. Sie sind für weltweite Skalierbarkeit optimiert – und unterstützen dank ihrer Leistung eine wachsende Zahl von KI- und datenintensiven Workloads. Dies stellt einen umfassenden architektonischen Wandel dar: Anstatt zwischen Datei- und Objektspeicher zu wählen, kombinieren moderne Systeme beide Ansätze. So bleibt der Komfort von Ordnern, Namespaces und vertrauten Dateiverhalten erhalten, ohne die Skalierungsvorteile des Objektspeichers zu beeinträchtigen.

Auswirkungen für Entwickler von Cloud- und KI-Infrastrukturen

Diese Anpassungen erhöhen die Bedeutung der Software-Entwicklung, um die zugrunde liegenden Festplatten-Flotten besser zu nutzen. Damit verändern Cloud- und KI-Workloads nicht nur die Speicherarchitektur, sondern definieren den Primärspeicher selbst neu.

Für Entwickler von Speicherinfrastrukturen liegt die Schlussfolgerung auf der Hand: Die Konzeption moderner Systeme bedeutet, sich von der Annahme zu lösen, dass Primärspeicher sich nahtlos in die lokale Dateistruktur des Betriebssystems einfügen müssen. Organisationen, die dies richtig umsetzen, können KI-Strategien effizient einsetzen – und zwar mit höherer GPU-Auslastung, besserer Wirtschaftlichkeit bei der Inferenz und weniger Leistungsengpässen.

* Der Autor: Jason Feist, SVP Cloud Marketing, Seagate Technology

Aktuelles E-Book

HDD versus SSD

Speichermedien begleiten viele Nutzer und Unternehmen im Zusammenhang mit der Datenspeicherung, -verarbeitung, -verbreitung und ihrer obligatorischen Löschung (DSGVO) während ihrer gesamten Nutzung. Sollte man dafür HDDs oder SSDs wählen? Beide haben Vor- und Nachteile.

Die Themen im Überblick:

• Festplatten und unstrukturierte Daten
• SSD und Flash-Memory
• Wirtschaftlichkeit & Co.
• Datensicherheit
• Nachhaltigkeit
• Neue Entwicklungen und Trends

E-Book „HDD versus SSD“ kostenlos downloaden

(ID:50908264)