Scality RING XP All-Flash-Speicher bietet Latenzzeiten im Mikrosekundenbereich

Anbieter zum Thema

Scality SA

FAST LTA GmbH

Scality hat kürzlich RING XP vorgestellt, eine neue All-Flash-Konfiguration seiner RING-Speicher-Software für extreme Performance. RING XP sei mit Reaktionszeiten im Mikrosekundenbereich der schnellste Objektspeicher für kleine Objektdaten, so der Hersteller, und somit optimal für KI-Hochleistungsanwendungen im Exabyte-Bereich geeignet. Die Latenz liege bei gerade mal 500 Mikrosekunden.

RING XP hat laut Scality eine zehn bis zwanzig Mal geringere Latenz als Amazon S3 Express One Zone sowie eine 50 bis 100 Mal geringere Latenz als Amazon S3, denn diese lieferten Daten in Millisekunden, Scality aber schon in Mikrosekunden. XP steht für „Extreme Performance“; RING XP bildet eine spezielle Konfiguration von RING, die für Höchstleistung im KI-Bereich konfiguriert ist.

Bildergalerie

Es handelt sich laut Scality um die erste Software-definierte Objektspeicherlösung, die ein Leistungsniveau biete, das bisher nur die teuersten, proprietären Hardware-basierten All-Flash-Dateisysteme erreichen. Zusätzlich biete RING XP die inhärenten Vorteile von Objektspeichern: Skalierbarkeit, Einfachheit, API-Zugriff, Sicherheit und geringe Kosten.

„Wir haben einen umfassenden und flexiblen Objektspeicher entwickelt und ihn zum schnellsten der Welt gemacht“, so Giorgio Regni, CTO und Mitgründer von Scality. „Überall auf der Welt versuchen Unternehmen, maximalen Nutzen aus der KI zu ziehen. Objektspeicher sind ein naheliegendes, grundlegendes Repository für die Exabyte an Daten in der KI-Pipeline. Mit RING XP haben wir den Objektspeicher nicht nur für extreme Leistung optimiert, sondern auch Datensilos reduziert. Die nahtlose, flexible Technologie ist sowohl für die langfristige Datenspeicherung als auch für extrem leistungsstarke KI-Workloads – Training und Feintuning – geeignet.“

In diesen beiden Bereichen brauchen Anwendungen Zugriff auf Millionen oder Milliarden kleine Datenobjekte, wobei die Einzelgröße im Bereich weniger Kilobyte oder noch weniger liegen. Aber das RING-System unterstütze große Objekte von mehreren Gigabyte Umfang „effizient und mit hohem Datendurchsatz“. Das primäre Leistungsziel liege darin, äußerst geringe Latenzzeiten beim Zugriff zu erreichen. RING XP erziele für kleine Datenobjekte im KB-Bereich Schreib- und Lese-Latenzen, die in Hunderten von Mikrosekunden gemessen würden.

Vergleich

Um diese neue Dimension des Datenzugriffs in Korrelation zu bisherigen Messgrößen des Objektspeichers zu setzen, nennt Scality verschiedene Kennzahlen. So liefere Amazon S3 Standard Latenzen zwischen 10 und 30 Millisekunden, doch sie lägen häufig darüber. Mit Amazon S3 Express One Zone führte Amazon Ende 2023 eine beschleunigte Objektspeicher-Schnittstelle ein, die aber nicht mit der standardmäßigen S3-API kompatibel sei. Den Nutzern wurden Zugriffszeiten im Bericht „einstelliger Zahlen“ versprochen. Aber die Daten dürfen nur in einer einzelnen Region oder Availability Zone liegen.

Wie schneidet nun RING XP im Markt der All-Flash-Filesysteme (AFA) ab, die nicht Objektspeicher unterstützen? Die AFAs seien häufig aus proprietären Servern aufgebaut und in der Lage, Zugriffszeiten im Bereich mehrerer hundert Mikrosekunden über File-Protokolle wie NFS zu erzielen. „Während manche dieser Systeme reguläre S3-Schnittstellen für Objektspeicher anbieten, werden dazu jedoch keine Leistungsdaten veröffentlicht. Es ist somit fast sicher, dass sie eine höhere Latenzzeit über Objektprotokolle erreichen als solche Systeme, die Filesystem-Schnittstellen verwenden“, schreibt Scality in seinem Blog.

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 9

Speichergrößen: Christian Schulte, Fujitsu

Die Testumgebung

Die Leistung von RING XP wurde in folgender Testumgebung geprüft: RING/RING XP 9.3.0.8, Dell PowerEdge R7615 mit einer CPU von AMD EPYC 9124 3.0 GHz und 3,2-TB-PCI/NVMe-SSDs; Betriebssystem Rocky Linux 8.6; 1 x 100-GbE-Netzwerk; als Client-Basis wurde der PowerEdge-Server genutzt, der 4-KB-Objekte über die API von RING XP schrieb und las. Das Resultat: Im Schnitt erzielte RING XP Leselatenzen unter 511 Mikrosekunden und Schreiblatenzen von unter 741 Mikrosekunden. Das sei zehn bis zwanzig Mal schneller als S3 Express One Zone und 50 bis 100 Mal schneller als das Standard-S3.

RING XP umfasst laut Regni für KI optimierte Konnektoren für den skalierbaren, schnellen Speicherzugriff von Anwendungen sowie eine leistungsoptimierte RING-Speicher-Software, die die Speicher-I/O im gesamten Stack beschleunige. Natürlich muss auch die Hardware entsprechend leistungsfähig sein: AMD-EPYC-basierte NVMe-All-Flash-Speicherserver von Lenovo, Supermicro, Dell SD7000-S und HPE. Sie böten Unterstützung von EPYC für PCIe und NVMe sowie die höchste Anzahl von Kernen in Single-Socket-CPUs zur Optimierung der Latenz.

Die technische Basis der Lösung

Die Komponenten von RING XP sind eine Hochleistungsschnittstelle für Objektspeicher, die ideal für KI-Anwendungen, Tools und Filesysteme sei. Sie kenne praktisch keine Begrenzung und verfüge über einen flachen Namespace, was die Objektspeicherung und den Datenzugriff für KI-Apps vereinfache.

Der Technikstapel des RING bestehe unverändert aus einem verteilten Scale-Out-Speichersystem ohne irgendwelche „Points of Failure“, das Hochverfügbarkeit und mehrdimensionales Wachstum unterstütze. Maximale Datenrobustheit durch Erasure-Coding, Replikation, Selbstheilung und mehr sei selbstverständlich. Um maximale Leistung auch bei kleinen Objekten zu erzielen, ließen sich diese Datenrobustheitsvorgaben herabsetzen.

Der harte Kern

Im Kern ermöglichen verschiedene Innovationen, die auf dem zentralen Scality-Patent beruhen, die Latenzzeiten im Mikrosekundenbereich. Die RING-Architektur erzeugt eine verteilte Hash-Tabelle (DHT) über alle Speicher-Nodes. Sie gewährleistet festgelegte Zugriffszeiten, ohne eine zentrale Datenbank zu erfordern. Diese Architektur beseitigt Flaschenhälse, wie sie für zentralisierte Architekturen typisch sind.

Mit O(1)-Zugriff auf jedes Objekt im System wird das Caching der gesamten Topologie durch die Zugriffsknoten realisiert, was der Leistung mit niedriger Latenz zugutekommt. Das System verwendet eine Shared-Nothing-Architektur, während sie weiterhin Daten über mehrere Server und Laufwerke verteilt (Striping). Das maximiert die Leistung, indem Arbeitslasten verteilt und einzelne „Points of Failure“ vermieden werden.

Datenmanagement in virtuellen Umgebungen

Fünf Warnsignale: wann virtuelle Workloads eine angepasste Speicherlösung benötigen

Die Technik der späten Materialisierung versetzt Netzwerkvorgänge in die Lage, bei IO-Anfragen zuerst den Hauptspeicher (RAM) oder schnellen Flash-Memory mit den Metadaten zu treffen. Dadurch werden die Leistung und die Latenzzeit verbessert, indem die Laufwerke, die für die Datenspeicherung genutzt werden, vor allen Vorgängen, die nicht mit Daten zu tun haben, abgeschirmt werden. Befindet sich NVMe-Flash auf der Speicherebene (etwa in einer AFA), beschleunigt dies den Datenzugriff erneut und erlaubt so Antwortzeiten im Mikrosekundenbereich im gesamten I/O-Stapel.

Komplettlösung für KI

RING und RING XP bilden zusammen eine Komplettlösung für das Speichermanagement von KI-Datenpipelines, die neue KI-gestützte Geschäftsprozesse optimieren und beschleunigen soll. „Im Gegensatz zu klassischen Speicherlösungen, die nur Teile des KI-Workflows abdecken, bilden RING XP und RING eine einzige Plattform für jede Phase der KI-Pipeline – von der Aufnahme riesiger Datensätze für das Training von Modellen bis zur Inferenz“, so Regni weiter.

Die Komplettlösung bietet diese Features, nämlich RING als grundlegendes Repository für KI-Data-Lakes mit „heißen“, „warmen“ und „kalten“ Daten auf Exabyte-Ebene, RING XP für die extremen Latenzanforderungen von Datensätze für das KI-Training. Hinzu kommen ein integriertes Lifecycle-Management für alle Phasen der Datenpipeline, die Verwaltung über ein gemeinsames Framework von Management- und Überwachungstools sowie End-to-End-Cyberresilienz durch Scalitys integrierte CORE5-Funktionen für Sicherheit und Datenschutz.

Anwender

Regni abschließend: „Scality RING ist heute das KI-Data-Lake-Repository der Wahl für führende Finanzdienstleister, Genomikanbieter, Versorgungsunternehmen, Nachrichtendienste, Reiseanbieter und Forschungseinrichtungen.“ Zu den entsprechenden Kunden gehörten das französische Genomforschungslabor Sequoia Genomique, eine der fünf größten US-Banken, die es zur Betrugserkennung verwende, einer der größten Versicherer in den USA, der damit die Schadensbearbeitung optimiere, und der führende europäische Anbieter KI-gesteuerter Reisedienstleistungen. Namen wollte Regni allerdings keine nennen.

Bildergalerie

Lizenzierung

„RING XP ist verfügbar und kostenlos für RING-Kunden“, fasste Regni zusammen. „Wir haben das Lizenzierungsmodell wie für RING beibehalten“, so der Manager. „Das heißt, dass die Basis auf den verwendbaren Terabyte (TB) eines Systems beruht und ein Subskriptionsmodell für ein, drei oder fünf Jahre umfasst, bei gleichem Preis wie für RING.“ Daher hätten RING-Kunden sofort Zugriff auf RING XP und könnten alle Vorteile erhalten, indem sie die Software auf einer der unterstützten Referenzplattformen mit AMD-EPYC-Prozessor installierten, also von Lenovo, Supermicro, Dell und HPE (s. o.).

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

• Aktuelle Trends in der Künstlichen Intelligenz
• High-Performance Computing – Explosion der Innovationen
• Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:50229433)