Kooperation: Excelero und ThinkParQ

BeeGFS-integriertes NVMesh-System vorgestellt

| Autor / Redakteur: Martin Hensel / Dr. Jürgen Ehneß

Excelero und ThinkParQ haben das erste Ergebnis ihrer Kooperation präsentiert.
Excelero und ThinkParQ haben das erste Ergebnis ihrer Kooperation präsentiert. (Bild: Excelero / ThinkParQ)

Der Spezialist für Software-definierten Blockspeicher Excelero hat gemeinsam mit dem High-Performance-Computing-Experten ThinkParQ ein Projekt abgeschlossen. Ab sofort ist NVMesh in das parallele Cluster-Dateisystem BeeGFS integriert.

Die Kombination des Software-definierten Blockspeichers NVMesh (Excelero) und BeeGFS (ThinkParQ) ermöglicht Latenzen, die einem lokalen Laufwerk entsprechen. Laut den beiden Unternehmen zeigen Benchmarks der ersten Deployments, dass sich Ressourcen maximal auslasten lassen. Damit eignet sich das System ideal für datenintensive Workloads, wie etwa High Performance Computing (HPC), Künstliche Intelligenz, Maschinelles Lernen oder Analysen.

Die NVMe-Speichercluster mit BeeGFS und NVMesh sollen insbesondere die Produktivität von fortschrittlichen GPU-Computeclustern steigern. Derartige Systeme leiden häufig unter einem Flaschenhals im Speicher, der für KI-Anwendungen typisch ist. Dabei können I/O-intensive Workloads selbst in den GPU-basierten Umgebungen nicht schnell genug verarbeitet werden. Manuelle Eingriffe sind dann erforderlich.

Erprobte Leistungsfähigkeit

Zum Nachweis der Leistungsfähigkeit ihrer Lösung nutzten Excelero und ThinkParQ die Standardtests mdtest und IOR. Das Testsystem bestand aus einem 2-HE-Chassis mit vier Servern und insgesamt 24 NVMe-Laufwerken, das über ein 100-Gigabit-RDMA-Netzwerk mit acht BeeGFS-Client-Computeknoten verbunden war. Die Vergleichstests basierten auf der gleichen Konfiguration und nutzten BeeGFS mit Direct Attached NVMe und logischen NVMesh Volumes. NVMesh kam zum Auslagern der Spiegelungsoperationen zum Einsatz, was den Dateierstellungsprozess von BeeGFS um das Dreifache und das Lesen der Metadaten um den Faktor 2,5 beschleunigte.

Auch der für die Anwendungsleistung besonders kritische Random-Zugriff auf kleine Dateien profitierte stark: NVMesh konnte die BeeGFS-4K-Schreib-IOPS auf 1,25 Millionen pro Sekunde steigern. Dies entspricht etwa einer 2,5-fachen Verbesserung. Das verteilte Erasure Coding von NVMesh für BeeGFS sorgt für 90 Prozent nutzbare Kapazität ohne Einfluss auf die Tolerierbarkeit von Laufwerksausfällen. Der Streaming-Durchsatz des Einsteigersystems liegt bei 75 Gigabyte pro Sekunde.

„Mit Exceleros NVMesh erhalten unsere Kunden Zugang zu einem hoch leistungsstarken System für die Speicherskalierung, das extrem niedrige Latenzen bietet“, meint ThinkParQ-CEO Frank Herold. „Die Fähigkeit von NVMesh, eine riesige Menge an IOPS mit den extrem niedrigen Latenzen von NVMe-Laufwerken über Netzwerke mit hochverfügbaren Volumes bereitzustellen, hat uns sehr beeindruckt. Das Gleiche gilt für die Option, mittels verteiltem Erasure Coding auf der Blockspeicherebene und BeeGFs eine beispiellose Effizienz für unterschiedlichste Zugriffsmuster und Dateigrößen bereitzustellen“, ergänzt er.

Kommentare werden geladen....

Was meinen Sie zu diesem Thema?

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 46078831 / Speichersysteme)