Disaggregierte Speicherarchitekturen Der Schlüssel zu skalierbarer KI-Infrastruktur

Anbieter zum Thema

Western Digital Corporation

DataCore Software GmbH

FAST LTA GmbH

Im Gastbeitrag erläutert Uwe Kemmer von Western Digital, wie entkoppelte Systeme in Kombination mit softwareoptimierte Ressourcennutzung die Erweiterung von Rechenzentren planbarer machen und die Gesamtbetriebskosten senken.

Über viele Jahre hinweg galten hyperkonvergente Infrastrukturen (HCI) als die ideale Lösung für effiziente und skalierbare Rechenzentren. HCI integriert Rechenleistung, Speicher und Netzwerk in einem einzigen, zentral verwalteten System (Node) und reduziert so die Komplexität erheblich. Doch inzwischen stößt diese Architektur an ihre Grenzen – getrieben durch den rasanten Boom Künstlicher Intelligenz (KI). Besonders generative KI (GenAI) produziert enorme Mengen unstrukturierter Daten: Laut McKinsey werden fortgeschrittene KI-Workloads bis 2030 voraussichtlich 70 Prozent der weltweiten Nachfrage nach Rechenzentrumskapazitäten ausmachen.

Der explosionsartige Anstieg KI-bezogener Daten zeigt die Grenzen traditioneller HCI-Architekturen deutlich auf. KI-Modelle benötigen schnelle Verfügbarkeit und sehr hohe I/O-Leistung. In HCI-Umgebungen entstehen oft Engpässe beim Zugriff auf und Verarbeitung von Informationen, gerade wenn die Daten auf verschiedenen Nodes gespeichert sind. Es ist Zeit für einen Paradigmenwechsel: Storage und Computing sollten wieder entkoppelt werden, um flexibel und leistungsfähig auf KI-Workloads reagieren zu können.

Das Fundament moderner Rechenzentren

HCI hat noch ein weiteres Problem: Speicher- und Rechenkomponenten haben unterschiedliche Refresh-Zyklen, müssen innerhalb eines Nodes jedoch stets gemeinsam erneuert werden. Die Folge ist ein kostspieliger Kreislauf aus Überprovisionierung und Unterauslastung. Künstliche Intelligenz verschärft diese Tendenz: Durch die hohen Ansprüche von KI-Workloads benötigen CPUs und GPUs bereits nach wenigen Jahren ein Update, während Speicherlösungen wie hochkapazitive HDDs deutlich langlebiger sind.

Disaggregierte Speicherarchitekturen durchbrechen dieses Muster: Speicher lässt sich separat erweitern, Rechenleistung flexibel zuweisen und Netzwerkressourcen nach Bedarf skalieren. Das Ergebnis ist eine Infrastruktur, die leistungsstark, wirtschaftlich und zukunftssicher ist – ideal für KI, Cloud-native Anwendungen sowie datenintensive Workloads.

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 19

Cyberangriffe erfolgreich abwehren: „Testen, testen, testen!“

NVMe oF als technologische Basis

Eine Schlüsselrolle in diesem Konzept spielt Non-Volatile Memory Express over Fabrics (NVMe oF). Die Technologie verbindet disaggregierte Speicherpools mit nahezu lokaler Performance und extrem niedriger Latenz. So können Server auf entfernte Speicher zugreifen, als wären diese direkt angebunden. In Verbindung mit disaggregierten Architekturen ermöglicht NVMe oF eine Hochgeschwindigkeits-Datenverarbeitung ohne Engpässe. Gleichzeitig bleibt das System standardbasiert und damit offen für unterschiedliche Infrastrukturen und Anbieter. In Kombination bieten Disaggregation und NVMe oF eine Architektur, die sowohl schnell als auch zukunftssicher ist: Speicher in Rechenzentren lässt sich bedarfsgerecht erweitern, ganz unabhängig von Rechen- oder Netzwerkkapazitäten.

Ressourcennutzung nach Maß

Während NVMe oF und disaggregierte Architekturen die technologische Grundlage schaffen, setzt Composable Disaggregated Infastructure (CDI) die Ressourcen anschließend mit maximaler Effizienz ein. Durch CDI werden CPUs, GPUs, Speicher und Netzwerk über Software zu dynamischen Systemen respektive Pools zusammengesetzt („composed“) – und bei Bedarf wieder aufgelöst. Dies verbindet die physische Flexibilität disaggregierter Systeme mit der Agilität einer softwaregesteuerten Infrastruktur.

CDI ist wie ein digitales Regal: Auf diesem stehen alle Komponenten des Rechenzentrums bereit – Prozessoren, Speicher, Netzwerkelemente und Beschleunigerkarten. Sobald eine Anwendung gestartet wird, werden die benötigten Ressourcen automatisch aus dem Regal genommen, virtuell zu einem Gesamtsystem zusammengesetzt und nach Ende der Nutzung wieder freigegeben.

Für Legacy-Workloads, die in der Regel konstante und planbare Leistungsanforderungen haben, ist diese Flexibilität nicht unbedingt erforderlich. Beim Training von KI-Modellen oder der Bereitstellung umfangreicher Cloud-Dienste ist die schnelle und vor allem effiziente Aufteilung der verfügbaren Ressourcen aber essenziell. Deshalb findet CDI besonders in großen Rechenzentren Anwendung, die bereits separate Pools für Compute, Storage und Speicher nutzen.

Datenspeicher unter Druck

Vom HDD-Engpass zur SSD-Knappheit?

Effizienz durch Automatisierung

IT-Teams in klassischen Rechenzentren verbringen aktuell noch sehr viel Zeit mit Routineaufgaben – Server-Provisionierung, Storage-Zuweisung, Backup & Recovery und vieles mehr. Das führt nicht nur zu Ineffizienz, sondern auch zu einer Überprovisionierung: Rechenzentren halten deutlich mehr Ressourcen vor, als tatsächlich benötigt werden, um Lastspitzen abzufangen oder Wartungsfenster zu vermeiden.

CDI setzt genau hier an. Die softwarebasierte Orchestrierung weist Ressourcen in Echtzeit genau nach Bedarf zu – und zwar exakt in dem Umfang, den eine Anwendung in diesem Moment benötigt. Wenn ein KI-Modell beispielsweise in die Trainingsphase eintritt, kann der Speicherpool automatisch erweitert werden. Sinkt der Bedarf wieder, werden Ressourcen zurückgeführt. So entsteht ein dynamisches, selbstoptimierendes System, das Performance maximiert und Kosten senkt.

Rechenzentren ohne Engpässe

Gemeinsam bieten disaggregierte Architekturen und CDI eine ideale Grundlage, um Rechenzentren für immer anspruchsvoller Workloads auszulegen. Zusammengefasst ergeben sich folgende Vorteile gegenüber herkömmlichen HCI-Lösungen:

• Unabhängige Skalierbarkeit: Rechenleistung und Speicherkapazität lassen sich nach tatsächlichem Bedarf anpassen.

• Kostenoptimierung: Überprovisionierung, das Einplanen ungenutzten Reservespeichers, wird reduziert, die Infrastruktur optimiert und Prozess automatisiert. Dadurch sinkt die Total Cost of Ownership (TCO).

• Flexibilität: Die agile Anpassung an sich schnell ändernde Anforderungen, entsprechend der geschäftlichen Prioritäten, wird erleichtert.

• Performance-Optimierung: Moderne Technologien wie NVMe oF machen den Datenfluss effizienter. NVMe oF ermöglicht Servern den Zugriff auf entfernte Speichersysteme – mit nahezu der gleichen Geschwindigkeit, als wären diese lokal vor Ort.

• Zukunftssichere IT-Infrastruktur: Durch die Entkopplung wird Raum für mehr CPUs, GPUs und DPUs (Data Processing Units) geschaffen – exakt das, was moderne KI-Anwendungen fordern.

Zukunftsfähiger Speicher: modular und entkoppelt

Der Erfolg von KI-Anwendungen hängt nicht ausschließlich von Rechenleistung ab, sondern vor allem davon, wie schnell und effizient Daten bereitgestellt werden können. Disaggregierte Speicherarchitekturen in Kombination mit NVMe oF und Softwareoptimierung schaffen die notwendige Grundlage: Sie machen Infrastruktur flexibel, skalierbar und wirtschaftlich. Unternehmen, die jetzt auf flexible, entkoppelte Architekturen setzen, positionieren sich optimal für das KI-Zeitalter.

HDDs stellen in diesem Kontext die Basis einer zukunftsorientierten Datenstrategie dar. Sie bieten höchste Kapazitäten zu geringen Kosten pro Terabyte und sind dank höherer Speicherdichte vergleichsweise energieeffizient – in Zeiten steigender Energiekosten und eines prognostizierten Strombedarfs deutscher Rechenzentren von bis zu 37 Milliarden kWh bis 2030 ein entscheidender Faktor für Unternehmen.

* Der Autor: Uwe Kemmer, Director EMEA Field Engineering, Western Digital Corporation

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

• Aktuelle Trends in der Künstlichen Intelligenz
• High-Performance Computing – Explosion der Innovationen
• Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:50633059)