Von Tiered Storage zu Tiered Memory Warum NAND im KI-Infra­struktur-Stack nach oben rückt

Anbieter zum Thema

FAST LTA GmbH

Die Diskussion rund um die Performance von KI-Infra­strukturen konzentriert sich meist auf GPUs. In vielen Projekten ist jedoch nicht die Rechen­leistung, sondern die verfügbare Speicher­kapazität der limitierende Faktor. Wachsende Kontext­fenster, KV-Caches, multimodale Modelle und agentische KI lassen den Bedarf an HBM und DRAM schneller steigen, als die verfügbare Kapazität pro Beschleuniger wachsen kann.

Für Infrastruktur-Entscheider ist diese Entwicklung von großer Bedeutung, da sie die Rolle von NAND grundlegend verändert. NVMe-SSDs können nicht länger ausschließlich als Persistenz­schicht betrachtet werden. Zunehmend müssen sie als zusätzliche Ebene innerhalb der KI-Speicher­hierarchie verstanden werden.

Der Speicherengpass in der KI-Infrastruktur

Moderne KI-Modelle erzeugen beim Training, Fine-Tuning und bei der Inferenz enorme Daten­mengen, von denen der Großteil heute im GPU- oder System­speicher gehalten werden muss. Gleichzeitig wachsen Kontext­fenster und Modell­größen kontinuierlich an. Agentische Anwendungen verstärken diesen Druck zusätzlich, da Zustände über längere Zeiträume hinweg gespeichert und verwaltet werden müssen.

Insbesondere der KV-Cache entwickelt sich zu einem kritischen Faktor. Er speichert Kontext­informationen während der Inferenz und wächst sowohl mit der Eingabe­länge als auch mit der Anzahl paralleler Anfragen. Dadurch geraten die HBM- und DRAM-Ressourcen zunehmend unter Druck.

Für viele Unternehmen stellt sich daher nicht mehr nur die Frage, wie sich mehr Rechen­leistung bereitstellen lässt. Ebenso wichtig ist es, bestehende Speicher­ressourcen effizienter zu nutzen.

NAND-Flash wird Teil des Laufzeit-Datenpfads

Mehrstufige Speicherarchitekturen (Multi-Tier-Memory) sind in Datenbanken, HPC-Umgebungen und Speicher­infras­trukturen seit Jahrzehnten etabliert. Neu ist jedoch ihr Einsatz innerhalb aktiver KI-Workloads. Software kann Daten nun zwischen GPU-Speicher, DRAM und NVMe-Speicher verschieben, während eine Arbeitslast ausgeführt wird. Dazu gehören der KV-Cache, Modell­gewichte sowie die inaktiven Experten in Mixture-of-Experts-Modellen.

Infolge­dessen werden SSDs nicht mehr ausschließlich für persistente Daten genutzt. Sie werden Teil des Laufzeit-Datenpfads und können Modell­gewichte, KV-Caches sowie weitere Daten­strukturen aufnehmen, die nicht dauerhaft auf der schnellsten und teuersten Speicher­ebene verbleiben müssen.

Warum mehr nutzbarer Speicher wichtiger ist als mehr GPUs

Die Diskussion um Memory-Tiering wird häufig auf einen Vergleich reiner Leistungs­werte reduziert. Doch die Frage, ob NAND mit der Bandbreite oder Latenz von HBM mithalten kann, geht am Kern der Sache vorbei. Beide Technologien erfüllen unterschiedliche Aufgaben innerhalb einer KI-Infrastruktur.

HBM bleibt unverzichtbar für Daten und Modell­komponenten, die kontinuierlich mit maximaler Geschwindig­keit verarbeitet werden müssen. Gleichzeitig steigt der Bedarf an zusätzlichen Speicher­ebenen, die große Datenmengen wirtschaftlich vorhalten können.

In vielen KI-Initiativen setzt heute die Speicherkapazität die Grenzen – nicht die Rechenleistung. Die Heraus­forderung besteht daher nicht bloß darin, mehr Speicher bereit­zustellen, sondern vorhandene Speicherressourcen effektiver zu nutzen.

Hier setzt Memory-Tiering an. NAND erweitert die effektiv nutzbare Speicher­kapazität eines Systems und ermöglicht Workloads, die andernfalls zusätzliche GPUs oder größere Beschleuniger-Konfigurationen erfordern würden. Sein Wert liegt weniger in der reinen Leistungs­maximierung als vielmehr darin, größere Modelle, längere Kontexte und zusätzliche KI-Anwendungen auf bestehender Infra­struktur zu ermöglichen.

Diese Überlegung gewinnt nicht nur für die Inferenz, sondern auch für Fine-Tuning- und Trainings-Workloads zunehmend an Bedeutung. Eine intelligente Daten­verteilung über mehrere Speicher­ebenen hinweg kann Unternehmen dabei helfen, vorhandene Hardware effizienter auszulasten und – je nach Workload – Neu­anschaffungen von Hardware hinaus­zuzögern oder ganz zu vermeiden.

Controller, Firmware und QoS als entscheidende Erfolgsfaktoren

Mit der tieferen Integration von NAND in die KI-Speicherhierarchie verändern sich auch die Anforderungen an Enterprise-Storage. Traditionelle Speicher­projekte konzentrierten sich üblicherweise auf Kapazität, IOPS und maximalen Durchsatz. KI-Workloads legen den Schwerpunkt dagegen verstärkt auf

• vorhersehbare Latenz (Predictable Latency),

• konsistente QoS unter Last,

• geringe Tail-Latenz,

• hohe Schreibbeständigkeit (Write Endurance) für Cache-intensive Workloads,

• effiziente Garbage-Collection,

• intelligente Datenplatzierung.

Folglich rücken Controller-Architektur und Firmware stärker in den Mittelpunkt. Je häufiger Daten zwischen HBM, DRAM und NAND verschoben werden, desto wichtiger wird es für die Speicherschicht, Lastspitzen verlässlich abzufangen und berechenbare Antwortzeiten sicherzustellen.

Eine Standard-SSD ist für die Daten­speicherung ausgelegt, nicht für permanente Cache-Schreib­vorgänge. Wird sie als Speicherebene (Memory-Tier) eingesetzt, ist sie dauerhaften Schreib­lasten ausgesetzt, für die sie ursprünglich nicht konzipiert wurde. Die Leistungsfähigkeit einer NAND-Ebene wird daher nicht allein durch das Flash-Medium selbst bestimmt. Ebenso entscheidend ist das Zusammen­spiel aus Hardware, Controller-Technologie, Firmware und den Software-Ebenen, die die Daten­bewegung über die gesamte Speicher­hierarchie hinweg orchestrieren.

Die neue Rolle von NAND in KI-Speicherarchitekturen

Aus diesen Gründen wird eine effiziente Speicher­nutzung zum entscheidenden Faktor für die Skalier­barkeit von KI-Infrastrukturen. HBM und DRAM bleiben Kern­komponenten moderner Systeme. Gleichzeitig entwickelt sich NAND zu einer zusätzlichen Speicher­ebene, die dabei hilft, Kapazität, Wirtschaftlichkeit und Leistung in Einklang zu bringen.

Für Entscheidungs­träger bedeutet dies einen grundlegenden Wandel: Die Frage lautet nicht mehr bloß, wie Daten gespeichert werden sollen, sondern wie sich unterschiedliche Speicher­technologien zu einer einheitlichen KI-Speicher­architektur kombinieren lassen. In diesem Umfeld wandelt sich NAND zunehmend von einer passiven Speicher­ressource zu einer aktiven Komponente moderner KI-Infrastrukturen.

* Der Autor: Ingvar Ersson, GM & President, EMEA bei Phison

(ID:51005729)