CXL-Systeme Unifabrix bringt Memory-Pooling-System auf den Markt

Der Standard CXL befindet sich bereits in Version 3.0, Systeme lassen aber auf sich warten. Nun ist die erste Technik für Memory-Pooling im Rechenzentrum auf dem Markt. Unifabrix Smart Memory Node kann dabei erheblich mehr als nur die CXL-Spezifikation umsetzen.

Die Leistungsreserven von Multicore-Serverprozessoren werden heute nur sehr unvollständig ausgelastet. Das liegt unter anderem an Engpässen beim Memory-Zugriff: Die allzu begrenzten Zugangswege zum DRAM führen dazu, dass die Speicherbausteine nur sehr unvollständig ausgelastet werden. Je nach Quelle liegen zwischen 25 und 60 Prozent der Memory-Kapazität brach. Statt dessen werden immer neue Server eingesetzt.

Das hat negative Auswirkungen auf die Kosten, die Komplexität von Installationen und den Energieverbrauch. Besonders gravierend macht sich diese Situation beim High Performance Computing (HPC), beispielsweise bei der Datenanalyse, bemerkbar.

Erste Erleichterungen brachte PCIe, mittlerweile in Version 5 angekommen. Doch auch bei PCIe sitzt die Kontrolle des Memory-Zugriffs exklusiv in der CPU. Es handelt sich schließlich um eine reine I/O-Beschleunigung, was die Möglichkeiten begrenzt.

Ziel: disaggregierte Systeme

CXL (Compute Express Link) wird vor allem vorangetrieben, um diesen Engpass zu beseitigen. Das Ziel sind disaggregierte Systeme, bei denen Rechnen und schnelles Memory nicht unbedingt in einem Gehäuse sitzen müssen. Memory soll am besten von mehreren CPUs respektive Servern so wie heute schon vernetzte und virtualisierte Storage genutzt werden können. Server sollen sich möglichst aufs Rechnen beschränken.

Begrenzend wirkt dabei auf die möglichen Distanzen zwischen Compute und Memory vor allem die Verzögerung. Sie muss möglichst gering sein, um die Applikationen nicht schachmatt zu setzen. Die sollen schließlich nicht merken, dass die Daten weiter weg vom Prozessor liegen.

Viele Prototypen – wenige funktionsfähige Geräte

Zwar gibt es eine ganze Reihe von Firmen, die sich im gerade entstehenden CXL-Markt tummeln. Hinsichtlich der angestrebten Lösungen am ehesten mit Unifabrix vergleichbar sind derzeit Firmen wie Liqid, GigaIo und H3. Auch Intelliprop und Enfabrica oder Astera Labs spielen in einem ähnlichen Segment. Keine dieser Firmen hat aber eine ähnliche, verkaufsfertige Lösung.

Daneben gibt es zahlreiche weitere Anbieter, die sich auf die eine oder andere Weise mit CXL befassen: Beispielsweise haben ARM, AMD, Nvidia und Intel inzwischen Prozessoren, die CXL-fähig sind.

Smart Memory Node arbeitet mit Sapphire Rapids

Der Smart Memory Node von Unifabrix wurde zum ersten Mal im November 2022 auf einer HPC-Konferenz in den USA präsentiert. Die Systeme sind voll funktionsfähig und laufen bereits bei Kunden, viele von ihnen aus dem HPC-Bereich, wie bei einer Präsentation während einer ITPress-Tour in Israel zu erfahren war.

In der 2U hohen Kiste, die 75 Zentimeter tief ist, steckt ein Prozessor der jüngst angekündigten Intel-Serie Sapphire Rapids, die CXL-fähig ist. Dieser Prozessor ist mit reichlich DRAM für die klassische Socket-Montage ausgerüstet und hat unter anderem die Aufgabe, die im System vorhandenen Memory-Ressourcen zu verwalten.

Bis zu 32 Terabyte Memory

Zusätzlich lassen sich in die Smart Memory Nodes bis zu 32 Terabyte Memory der unterschiedlichsten Formen einbauen. Das soll Memory-Hierarchien analog den bei Storage bereits länger üblichen Tiers ermöglichen. Dazu dienen 24 EDSFF-Slots, für die beispielsweise Samsung Module mit fest verlöteten Speicherchips anbietet. Auch entsprechende SCM-Module (Storage-Controlled Memory) ließen sich darin unterbringen.

Von den 24 Slots dürfen aus Gründen der Belüftung aber nur 20 mit Modulen befüllt werden. Dazu passend, hat das Gerät 20 CXL-Ports, jeder mit 16 Lanes zu je 32 Gigabit pro Sekunde (Gb/s) unidirektional, was sich zu einer Gesamttransportleistung von 1 Terabit pro Sekunde (Tb/s) summiert. Sobald PCIe 6 aktuell wird, verdoppeln sich diese Werte noch einmal. Jeder Port kann aufgeteilt werden. Außerdem besitzt das Gerät noch zwei Ethernet-Schnittstellen für 400 Gb/s.

Software liefert Funktionen von CXL 3.0

Die Software von Unifabrix ermöglicht es, mit dem Gerät auch dann CXL-3.0-Funktionen zu nutzen, wenn die angeschlossenen Server nur mit CXL 1.0 etwas anfangen können. „90 Prozent von CXL 3.0 können wir heute schon“, sagt CTO Danny Volkind.

Auf Servern, die mit den Unifabrix-Knoten kooperieren sollen, muss ein spezieller Treiber installiert werden. Mittels dieses Treibers redet dann PCIe mit dem Memory im Unifabrix-Knoten so, als hinge es direkt am Server.

Elaborierte Funktionen über den CXL-Standard hinaus

Unifabrix hat zudem in der Software realisiert, bei HPC-Berechnungen Checkpunkte festlegen zu können, bei denen ein Snapshot vom Memory gezogen wird. Das erlaubt es, Fehlerstellen schneller aufzuspüren; denn Admins müssen somit nicht mehr den gesamten Lauf wiederholen, sondern können sich von Snapshot zu Snapshot hangeln.

Weiter gelingt es den Systemen, einmal zugewiesenes Memory wieder freizugeben, ohne dass dafür die Server neu hochgefahren werden müssen. Ist das Memory gerade belegt, verschiebt das System die Daten auf freie Bereiche. Ist das aus Platzgründen unmöglich, verweigert das System die Freigabe.

Zudem geht Unifabrix davon aus, dass CXL im Rechenzentrum Ethernet und die allgegenwärtigen Top-of-the-Rack-Switches durchaus ersetzen könnte. Schon heute laufen in den Laboren des Herstellers Server mit CXL-Verbindungen zu einem Smart Memory Node statt eines TOR-Switches. Über den CXL-Link wird den Compute-Ressourcen Ethernet als Dienst angeboten.

Energie- oder Leistungsoptimierung

Außerdem besitzen die Systeme Energiesparoptionen: Sie können entweder auf höchste Leistung oder auf den geringstmöglichen Energieverbrauch hin betrieben werden. In letzterem Fall werden die Daten auf so wenige DIMMs wie möglich gepackt. Im ersten Fall steht der schnellstmögliche Zugriff auf alle Daten im Vordergrund.

Die Gesamtleistung von Servern, die auf die Smart Memory Nodes als Ressource zugreifen können, steigt. Das hat auch damit zu tun, dass die Daten durch die Software der Knoten optimal zwischen den verschiedenen Memory-Ressourcen verteilt werden. Ziel ist dabei, alle Bandbreitenressourcen optimal auszulasten.

Mittelfristiger Zielmarkt: Cloud Service Provider

Solche Funktionen sind vor allem für Cloud Service Provider interessant: Sie können damit die auf diese Weise differenziertere Service- und Preisstrukturen auch im Memory-Bereich entwickeln.

Verglichen mit einem Rack voller „normaler“ Sapphire-Rapids-Server, braucht man laut Unifabrix für dieselbe Leistung nur die Hälfte der Server, was auch die Einsparung etwa der halben Energie bedeutet. Die Gesamtkosten halbieren sich, der Umsatz aber verdoppelt sich.

Weil CSPs aber meist eigene Entwicklungen nutzen, deren APIs sie nur sehr ungern offenlegen, plant Unifabrix für die nahtlose Integration in solche Umgebungen ein eigenes API, das den Memory-Knoten für den Hypervisor des Servers aussehen lässt wie Memory-as-a-Service.

Chiplet-Design

Seine fortschrittlichen Funktionen realisiert der Smart Memory Node mit Hilfe einer auf Chiplets basierenden Architektur. CTO Danny Volkind: „Die Technologie befindet sich insgesamt noch sehr in Bewegung. Niemand weiß genau, welche Funktionen sich am Ende bewähren. Mit ASICs, die in der Entwicklung relativ teuer sind, legt man sich derzeit zu früh fest.“ Also wurden nur sehr stabile Komponenten wie etwa die CXL-Schnittstelle in Hardware realisiert.

Alles, was sich im Fluss befindet, steckt als Algorithmus in programmierbaren Logikbausteinen. Die Software lässt sich leichter anpassen, falls die technologische Entwicklung eine unerwartete Wendung vollzieht. Mit diesem Konzept sieht sich Volkind dem Markt weit voraus: „Wir realisieren heute schon Funktionen, mit denen wir beim Wettbewerb erst in vier Jahren rechnen.“

Vielversprechender Markt

So gern Unifabrix von seinen Produkten spricht, so zugeknöpft ist der Hersteller hinsichtlich der Geschäftsdaten: Das Unternehmen hat laut Unifabrix-CEO und -Gründer Ronen Hyatt inzwischen „einige Handvoll“ Mitarbeiterinnen und Mitarbeiter und verzeichnet bereits Umsätze. Stammsitz ist Haifa, ganz in der Nähe einer Industrie-Ansiedlung, in der Intel seinen weltweit zweitgrößten Entwicklungsstandort unterhält.

Von Intel kommt auch Hyatt. Das Kapital stammt von Venture-Capital-Gebern. Über die genauen Summen gibt es keine Informationen.

Zwar arbeitet das Unternehmen mit diversen einschlägigen Serverherstellern und HPC-Anbietern zusammen, die darüber nachdenken, gepooltes CXL-Memory in Infrastrukturen einzubeziehen. Genaues wird aber nicht verraten. Eine Exit-Strategie ist noch nicht festgelegt.

Die Perspektiven sind jedoch rosig: Ausgehend von einem DRAM-Gesamtmarktvolumen von mehr als 20 Milliarden US-Dollar, seien 2,8 bis 3,4 Milliarden US-Dollar Marktvolumen grundsätzlich erreichbar; denn das Management geht davon aus, dass der Markt bis 2030 von Legacy-Memory-Lösungen auf CXL-gepooltes Memory migrieren wird.

(ID:49536465)