Mit Standardkomponenten zum Datapod MinIO stellt Referenz­archi­tektur für Exascale AI Storage vor

Anbieter zum Thema

Fsas Technologies GmbH

FAST LTA GmbH

Mit der steigenden Akzeptanz von KI-Anwendungen wächst auch die Zahl der Unternehmen, die Exabyte an Daten oder mehr speichern wollen, fast schon sprunghaft an. MinIO hat nun eine Referenzarchitektur für Exascale-Speicher vorgestellt, die ermöglichen soll, in 100-Petabyte-Schritten in Exascale-Dimensionen vorzustoßen. Der Clou: Die Infrastruktur ist von der Stange.

Anand Babu Periasamy, Mitbegründer und Co-CEO von MinIO, weist darauf hin, dass vor zehn Jahren, als seiner Ansicht nach der Höhepunkt des Big-Data-Booms erreicht war, eine entsprechende Analyse auf Daten im einstelligen Petabyte-Bereich (PB) stattgefunden habe. Nur den größten Anwendungen lagen Datensätze von mehr als 100 PB zugrunde, in der Regel auf HDFS-Clustern.

Er sagt: „Das hat sich jetzt komplett geändert. 100 bis 200 Petabytes (PB) sind die neuen einstelligen Petabytes, und die datenorientierten Unternehmen gehen dazu über, alle ihre Daten zu konsolidieren. Sie gehen sogar in den Exabyte-Bereich.“ Beispiele sind:

• ein nordamerikanischer Automobilhersteller mit fast einem Exabyte an Fahrzeugvideos,

• ein deutscher Automobilhersteller mit mehr als 50 PB an Fahrzeugtelemetriedaten,

• ein Biotech-Unternehmen mit mehr als 50 PB biologischer, chemischer und patientenzentrierter Daten,

• ein Cyber-Sicherheitsunternehmen mit mehr als 500 PB an Protokolldateien,

• ein Medien-Streaming-Unternehmen mit mehr als 200 PB an Videodaten ,

• ein Verteidigungsunternehmen mit mehr als 80 PB an Geodaten, Log- und Telemetriedaten von Flugzeugen.

Periasamy verweist darauf, dass die generative KI-Revolution die Unternehmen dazu zwinge, ihre Speicherarchitekturen zu überdenken, zumal eine Auslagerung in die Cloud 60 Prozent bis 70 Prozent teurer wäre als der Aufbau dieser Kapazitäten in eigenen Rechenzentren. Zudem hätten Unternehmen bereits in GPUs investiert und benötigten nun größere und schnellere Speicher, um sie mit Daten zu versorgen.

In Anlehnung an die Cloud-Native-Bezeichnungen hat MinIO seine Referenzarchitektur „Datapod“ genannt. Sie basiert auf handelsüblichen X86-Servern von Dell Technologies, HPE und Supermicro, NVMe-Laufwerken, Ethernet-Switches und dem S3-kompatiblen Objektspeichersystem von MinIO selbst. Dabei besteht jeder Datapod aus elf identischen Racks und jedes Rack aus elf Speicher-Servern auf je zwei Höheneinheiten. Ergänzt wird das System durch je zwei Top-of-Rack-Layer-2-Switches sowie einen Management-Switch.

Jeder 2U-Speicher-Server im Rack ist mit einem 64-Core-Single-Socket-Prozessor, 256 GB RAM, einer Dual-Port-200-Gigabit-Ethernet-NIC, 24 2,5-Zoll-U2-NVMe-Laufwerksschächten und redundanten 1.600-Watt-Netzteilen ausgestattet. Die Spezifikation sieht 30-TB-NVMe-Laufwerke vor, was eine Gesamtkapazität von 720 TB pro Server ergibt.

Nach eigenen Angaben hat MinIO diese Architektur mit mehreren Kunden validiert. Das heißt, mit ihr lässt sich ein System auf bis zu ein Exabyte an Daten und darüber hinaus skalieren. Tatsächlich hat MinIO bereits durchschnittliche Straßenpreise veröffentlicht, die sich auf 1,50 US-Dollar pro TB und Monat für die Hardware sowie 3,54 US-Dollar pro TB und Monat für die MinIO-Software belaufen.

Somit käme ein 100-PiB-System (PiB = Pebibyte) bei einem Preis von etwa 5 US-Dollar pro TB und Monat auf etwa 500.000 US-Dollar pro Monat. Wird die Summe mit 10 multipliziert, gelangt der geneigte Leser zu den ungefähren Kosten für ein Exabyte-System.

(ID:50136415)