Pure Storage Flashblade/Exa Eine Storage für leistungsfähige KI-Umgebungen

Anbieter zum Thema

Pure Storage GmbH

DataCore Software GmbH

FAST LTA GmbH

Die KI hat Auswirkungen auf die Hardware-Welt – nicht nur die rechnenden Einheiten, sondern auch Storage-Infrastrukturen verändern sich. Rechtzeitig zur Nvidia GTC 2025 bringt Pure mit Flashblade/Exa eine neue Architektur speziell für große KI-Umgebungen auf den Markt.

KI ist in aller Munde. Allerdings erfordert die datenverschlingende Technologie genau wegen ihres Datenhungers auch eine neue Auslegung der Storage-Systeme. Denn deren bisherige Schwachstellen sind einerseits die schnelle Belieferung der Nvidia-GPUs mit Daten. Andererseits spielt die möglichst gleichmäßige Auslastung der teuren GPUs eine wichtige Rolle für die Effizienz der gesamten Infrastruktur.

Genau hier will Pure Storage einhaken und damit gleich zwei Fliegen mit einer Klappe schlagen. „Mit unserer neuen Lösung Flashblade/Exa lösen wir die größten Probleme von KI-Infrastrukturen, und gleichzeitig können wir uns auf neue Märkte ausdehnen“, meint Markus Grau, Principal Technologist bei Pure Storage im Gespräch mit Storage-Insider.

Bisher nämlich war Pure vor allem im Enterprise-Bereich mit seinen Flashblade-Systemen im Geschäft. Nun soll es in neue Gefilde gehen. Angepeilt werden KI-Factorys, also Dienstleister, die Hard- und Software für KI-Pipelines als Service anbieten, und Hyperscaler. Bei letzteren sitzt Pure bereits im Boot. Meta verlässt sich auf die Storage-Systeme des Speicherherstellers.

Direct Flash als Basis

Dass diese Zielgruppen mehr Leistung brauchen, erklärt sich durch das, was sie tun: Während im Enterprise de facto vor allem Inferenz, oft auf spezialisierten Modellen, stattfindet, lernen KI-Factorys und Hyperscaler auch Modelle an – je größer die Infrastrukturen, desto größer dürfen auch die Modelle sein. Das kann bei Hyperscalern durchaus einige Zehntausend GPUs und Datenvolumina im Exabyte-Bereich bedeuten. Die Durchsätze können gern über 50 TByte/s liegen.

Pure setzt mit seiner Direct-Flash-Technologie, für das Unternehmen eigene Software entwickelt hat, auf einen Wegfall der „Übersetzungsschicht“ zwischen Anwendungen und Flash-Speicher und beschreibt sie direkt. Das hat Leistungs- und Haltbarkeitsvorteile, weil unter anderem dank der pfiffigen Algorithmen weniger verschleißintensive Lösch- und Wiederbeschreibvorgänge anfallen.

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 14

Speichergrößen: Tobias Pföhler, StorMagic

Provider als Kunden angepeilt

Ziel sind Multi-Tenant-Umgebungen mit mehr als 1.000 GPUs, die extrem performative Speicher-Hardware brauchen. Dort laufen neben dem Anlernen von Modellen Anwendungen wie Finanzmanagement, Hochleistungsrechnen und Simulationen aller Art.

Parallele Filesysteme trennen Daten und Metadaten, beide liegen auf unterschiedlichen Systemen. Problematisch ist bei Erreichen der Systemgrenzen die Skalierung insbesondere der Systeme, auf denen die Metadaten liegen. Silos für einzelne Use-Cases sind verbreitet. Das treibt die Kosten. Außerdem sind gerade parallele Dateisysteme relativ aufwändig und daher teuer zu verwalten.

Bei NAS/NFS-Lösungen dagegen liegt die Problematik in der Vernetzungstechnik, die die Speichersysteme mit Daten und Metadaten mit den Clients verbindet. Hier kommt es oft zu Engpässen.

„Das Beste aus parallelen Filesystemen und NAS-ähnlichen Infrastrukturen“

Hier setzt Pure an. Der Hersteller trennt Metadaten, die auf speziellen Metadaten-Knoten liegen, von den Daten wie parallele Filesysteme. Letztere befinden sich entweder auf Storage-Knoten, die als Standard-Server mit SSD-Speicher ausgeführt sind, oder auf speziellen, von Pure angebotenen Servern mit Pures SSD-Technologien einschließlich Direct-Flash-Software.

Zwischen den Schichten befinden sich handelsübliche Switche, die aber 400-Gbit/s-Ethernet unterstützen müssen, damit die Architektur ihre volle Leistungsfähigkeit ausspielen kann. Zur Steuerung des Systems dient ein separater Control-Kanal. Die Kommunikation des angebundenen Compute-Clusters mit den Metadaten-Knoten funktioniert mit NFSv 4.1 over TCP (pNFS). Auf die Daten greifen die Clients über NFSv3 over RDMA zu.

Grundlagen des Cloud-Storage, Teil 1

Das A und O des Cloud-Speicherns: Datenmanagement

Metadaten-Knoten und Datenserver separat unbegrenzt skalierbar

Sowohl die Metadatenspeicher als auch die Storage-Server sind separat mehr oder weniger unbegrenzt skalierbar. Die Einstiegsgröße ist nur ein Chassis. „Damit haben wir die beiden wichtigsten Nachteile der bislang führenden Infrastrukturtypen beseitigt“, sagt Grau. Kunden profitieren von den bei Pure üblichen Upgrade- und Update-Regeln. Außerdem ist geplant, dass bestehende Flashblade/S-Architekturen ihre Daten auch an Flashblade/Exa weitergeben können.

Pures selbst entwickelter Datenserver soll zwei Höheneinheiten besitzen und 24 DirectFlash-Module mit 75 oder 175 TByte Datenvolumen enthalten. Das entspricht einem Speichervolumen von 1,8 respektive 3,6 PByte.

Beeindruckende Leistungsdaten

Die Leistungsdaten, die Pure für sich beansprucht, sind beeindruckend: mehr als 10 Tbit/s dauerhafte Leseleistung in einem einzigen Namensraum. Die gegenwärtigen Systeme bewegen sich laut Grau eher im Gigabit-Bereich.

Pro Rack seien bis zu 3,4 TByte Transportleistung möglich. Die Installation soll nur halb so lang dauern, in einen Namensraum sollen aber das 20-Fache an Files passen im Vergleich zum „führenden parallelen Filesystem“. Da Pure nicht preisgibt, mit wem hier verglichen wird, sind diese Daten eher schlecht zu gebrauchen.

„Wir realisieren hier im Grunde einen verteilten Key-Value-Store, auf den man beliebig zugreifen kann“, sagt Grau. Block- oder File-Layouts müssten nicht beachtet werden, was die Geschwindigkeit erheblich erhöhe.

Sicherheit für Unternehmensdaten, Teil 1

Storage-Security: Replikation und Verschlüsselung

HCL kommt erst später

Wie groß die Leistungsunterschiede zwischen Pure- und Standard-Datenknoten ausfallen werden, darüber ist noch nichts bekannt. Schließlich handelt es sich derzeit nur um eine Vorankündigung rechtzeitig zur Nvidia GTC. Die Produkte gehen jetzt an Testkunden, und die tatsächliche breite Verfügbarkeit verspricht der Hersteller im Sommer.

Was die Datenserver können müssen, welche Leistungsdaten die Pure-eigenen Produkte haben werden, welche Geräte für einen Einsatz mit der Pure-Infrastruktur taugen und wie überhaupt die Preisstruktur aussehen wird, ist noch unklar. Es soll eine Hardware-Control-List mit für Pure zertifizierten Systemen geben, an der mittlerweile fleißig gewerkelt wird.

Geplante Erweiterungen und Verbesserungen

Außerdem kündigt Grau bereits die nach der breiten Verfügbarkeit im März anstehenden Verbesserungen an: So soll unbedingt das objektbasierte S3 over RDMA unterstützt werden. Grau: „Die S3-Semantik ist nicht nur bei Cloud-Providern bekannt, gut skalierbar, und man muss nicht wie bei SMB oder NFS spezielle Betriebssystem-Integrationen beachten.“

Natürlich strebt der Hersteller auch schnellstmöglich einschlägige Nvidia-Zertifizierungen an. Und dass die Lösung in das hauseigene Verwaltungssystem für Pure-Infrastrukturen, Fusion, integriert werden soll, ist da schon fast selbstverständlich.

Pur hat also vorgelegt. Man darf gespannt sein, welche Storage-Hersteller noch größere Neuerungen auf der GTC bekanntgeben.

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

• Aktuelle Trends in der Künstlichen Intelligenz
• High-Performance Computing – Explosion der Innovationen
• Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:50358675)