SDS-Lösung von Xinnor RAID-Software unterstützt deutschen KI-Supercomputer

Anbieter zum Thema

DataCore Software GmbH

Fsas Technologies GmbH

FAST LTA GmbH

Xinnor, israelischer Anbieter einer Software-definierten RAID-Lösung, hat es zusammen mit Megware, Celestica und Phison ermöglicht, dass Helma, der KI-Supercomputer der Friedrich-Alexander-Universität (FAU) Erlangen-Nürnberg, den dritten Platz im weltweiten IO500-Benchmark-Ranking und Platz eins unter den Lustre-basierten Lösungen erzielt hat.

Der Helma-Rechner des Nationalen Hochleistungsrechenzentrums NHR@FAU kombiniert 192 Rechenknoten, die über AMD-EPYC-„Genoa“-CPUs verfügen, mit 768 Nvidia-GPUs der Baureihen H100 und H200. Diese Leistung lässt ihn in der Top-500-Liste auf 51 rangieren. Das klingt nicht beeindruckend, aber das Gerangel unter den Top-100 ist groß, und fast alle Supercomputer nutzen Nvidia-GPUs.

Durch den Einsatz der Xinnor-Lösung mit NVMe-basiertem RAID-Speicher mit Hochverfügbarkeit hat Helma einen bedeutenden Vorsprung errungen. Dieser Speicher hat eine Kapazität von 4,9 PB, untergebracht in einem halben Rack.

Die HA-Speicherinfrastruktur ist auf die anspruchsvollen KI-Anforderungen ausgerichtet: Deep Learning für wissenschaftliche Anwendungen, Verarbeitung großer Sprachmodelle (LLMs) und natürlicher Sprache, IT-Optik, Robotik und Reinforcement-Learning sowie KI für technische Anwendungsgebiete, darunter Digitale Zwillinge und CFD-Optimierung (CFD: Computational Fluid Dynamics, also numerische Strömungsmechanik).

Zwei RAID-Versionen

Der israelische Anbieter Xinnor hat sich auf innovative RAID-Systeme spezialisiert. Solche Systeme machen Speichersysteme widerstandsfähig und flexibel, insbesondere in Hochleistungsanwendungen wie HPC, KI, Edge oder der Medienindustrie. Xinnor bietet seine RAID-Engine in den Versionen XiRAID Classic und XiRAID Opus an. XiRAID Classic eignet sich für lokales RAID und (Linux-)Block-Storage, braucht x86-CPUs und hat einen Linux-Kern als Betriebssystem. Der Serverprozessor wird nur zu einem kleinen Teil beansprucht, die Last gleichmäßig über mehrere Serverkerne verteilt.

xiOPUS hingegen ist im Anwenderraum angesiedelt und unabhängig vom Betriebssystemkern. Es passt zu vernetzten Systemen und virtualisierten Umgebungen, wo es mit virtIO, NVMe over RDMA oder TCP funktioniert. Der Hersteller hat Zusatzfunktionen wie NVMe-Initiator, NVMe over TCP/RDMA, ein iSCSI-Target und einen Vhost-Controller integriert. Die Lösung funktioniert mit x86-Prozessoren und ARM-DPUs. Es lastet dafür bestimmte CPU-Kerne vollständig aus.

Im Xinnor-System am NHR@FAU ist xiRAID Classic 4.2 in gekoppelten Clustern mit Lustre 2.16.1 im Einsatz. Die Tools Corosync und Pacemaker erlauben leistungsfähiges Clustering, das auf dem Betriebssystem AlmaLinux 9 läuft, was wiederum für die notwendige Hochverfügbarkeit und Fehlertoleranz sorgt.

Die Lösung, die vom Partner Megware implementiert wurde, umfasst zehn Celestica-SC6100-Storage-Bridge-Systeme mit jeweils einer AMD-EPYC-CPU, 384 GB Memory und mit einer Kombination aus Phison-Pascari-Laufwerken mit PCIe 5.0: vier 6,4-TB-Laufwerken für das Schreiben von Metadaten und 20 Laufwerken mit jeweils 30,72 TB für das Lesen des Datenspeichers.

Der Clou an Xinnors Lösung ist ein patentierter Algorithmus (AVX), der die Verteilung der RAID-Kalkulation durch die CPU optimiert. So wird weder ein Memory-Cache benötigt, noch blockiert der Striping-Vorgang. Diese Technologie wird sowohl in der OPUS- als auch in der lokalen RAID-Lösung eingesetzt.

Das System unterstützt den parallelen Zugriff der genannten 768 GPUs, um Datenmengen von mehreren Terabyte zu verarbeiten. Die Workloads erfordern den Datendurchsatz von Hunderten Gigabyte pro Sekunde und Millionen von IOPS für die Metadatenverarbeitung. Mit seinen per IO500-Benchmark gemessenen Leistungsdaten ist der NHR@FAU-Superrechner Helma der schnellste, der mit einem Lustre-basierten Storage-System arbeitet.

Hochverfügbarkeit

Mit dem integrierten Clustering mithilfe der Tools Pacemaker und Corosync implementiert xiRAID Classic erweiterte Fehlertoleranz für die Hochverfügbarkeit. Zudem ist jedes NVMe-Laufwerk über vier separate PCIe-Bahnen mit beiden Server-Nodes verbunden, wobei das Namespace-Splitting die gleichzeitige Nutzung beider Nodes ermöglicht. Diese Architektur gewährleistet, dass den Ausfall mehrerer Laufwerke und sogar kompletter Server-Nodes mithilfe von automatischem Failover und Failback-Fähigkeiten übersteht.

Die Implementierung bietet erhebliche operative Vorteile. Erstens gibt es keinen einzelnen „Point of Failure“ aufgrund von Dual-Port-NVMe, gespiegelten Metadatenzielen und verteilten Objektspeicherpools. Die Architektur auf der Basis von PCIe 5.0 und NDR400-InfiniBand bietet Erweiterungsfreiheit und ist somit zukunftsfähig.

Obwohl die Leistungsfähigkeit ungewöhnlich hoch ist, beträgt die Stellfläche des Server-Racks nur eine halbe Einheit, bei reduziertem Energie- und Kühlbedarf. Die Wirtschaftlichkeit wir durch 100 Prozent Standard-Hardware gestützt, und die Open-Source-Komponenten wie etwa AlmaLinux eliminieren einen Vendor-Lock-in.

Hochverfügbarkeitsfunktionen

„Die xiRAID-gestützte Speicherinfrastruktur hat unsere Fähigkeit zur Unterstützung der KI-Großforschung verändert“, sagt Prof. Gerhard Wellein, Direktor der NHR@FAU. „Die Beseitigung von I/O-Engpässen bedeutet, dass unsere Forscher die 768 GPUs in Helma für Deep Learning, Quantenchemie und atomistische Simulationen voll nutzen können. Die Hochverfügbarkeitsfunktionen gewährleisten einen ununterbrochenen Zugriff auf unsere Datensätze im Petabyte-Bereich, was für ein nationales HPC-Zentrum von entscheidender Bedeutung ist.“

„Platz 3 im globalen IO500-Ranking und Platz 1 unter den Lustre-Lösungen bestätigen unser Engagement für die Leistung der Enterprise-Klasse, ohne Kompromisse bei Zuverlässigkeit oder Wirtschaftlichkeit einzugehen“, betont Davide Villa, CRO bei Xinnor. „Die Helma-Inbetriebnahme zeigt, wie xiRAID das Potenzial modernster Hardware maximieren und gleichzeitig die Flexibilität und Wirtschaftlichkeit von handelsüblichen Komponenten aufrechterhalten kann.“

Markus Hilger, HPC-Techniker beim Dienstleister Megware, ist überzeugt: „Die Zusammenarbeit mit Xinnor am Helma-Projekt demonstriert die Leistungsfähigkeit innovativer Software-definierter Speicher.“ Weiter: „Durch die Kombination der fortschrittlichen RAID-Funktionen von xiRAID mit unserer Systemintegrationsexpertise sind wir in der Lage, hochverfügbare Speicherlösungen mit einer Leistung in unmittelbarer Nähe der Hardwaregrenzen und ohne Engpässe zu entwickeln.“

„Unsere Pascari-PCIe-5.0-Laufwerke wurden speziell für diese Bereitstellung ausgewählt, um die perfekte Balance zwischen Leistung und Ausdauer für KI-Workloads zu bieten“, berichtet Albert Kang, leitender Business Director bei Phison. „Die Integration mit der RAID-Software von Xinnor schafft eine optimale Speichergrundlage, die die Funktionen unserer NVMe-Technologie in Unternehmen voll ausschöpft.“

Hinweis

Der vollständige Anwenderbericht, der sämtliche technischen Spezifikationen und eine Leistungsanalyse umfasst, lässt sich hier nachlesen.

Aktuelles eBook

All-Flash-Arrays mit NVMe – eine Chance für neue Use Cases

Gegenüber herkömmlichen drehenden Festplatten setzen sich zunehmend mit SSDs bestückte Flash-Systeme durch und punkten im Verbund mit NVMe vor allem durch hohe Geschwindigkeit. Wann lohnt sich der Einsatz eines All-Flash-Arrays im Unternehmen? Und welches System ist das passende? Diese und weitere Fragen beantwortet unser neues, kostenloses eBook.

Die Themen im Überblick:

• Technologische Grundlagen: Was ist NVMe-Flash?
• Use Cases: Wann lohnt sich ein NVMe-Array fürs Unternehmen?
• Anbieter und Produkte: NVMe-AFAs

eBook „All-Flash-Arrays mit NVMe“ kostenlos downloaden

(ID:50636698)