Objektspeicher wird zum Primärspeicher Cloudian kündigt neue Object-Storage-Produkte an

Anbieter zum Thema

Cloudian B.V.

DataCore Software GmbH

FAST LTA GmbH

Objektspeicher wird derzeit als Sekundärspeicher für Big Data eingesetzt, doch im Zuge der KI-Revolution zum Primärspeicher. Im Interview erläutert Michael Tso, der CEO von Cloudian, die Gründe dafür – und kündigt entsprechende neue Produkte an.

Cloudian ist der Anbieter von HyperStore, einem S3-basierten Objektspeichersystem, das bis in den Exabyte-Bereich skalieren kann. Es bietet insbesondere Unterstützung für unstrukturierte Daten in Stream- und Batch-KI-Pipelines, mit denen KI- und Machine-Learning-Modelle für Analysen ausgeführt werden können. Denn um ML-Modelle zuverlässig zu trainieren, sind sehr große, gereinigte und vereinheitlichte Datenmengen notwendig.

Bildergalerie

Diese Modelle müssen nach der Erstellung getestet und validiert werden, was erneut Speicherkapazität erfordert. Anschließend lassen sich die Modelle bereitstellen und anwenden. Manche Unternehmen wie etwa Energieversorger führen täglich zehntausende von Modellen oder mehr aus, um den Bedarf berechnen und planen zu können.

Cloudian offeriert HyperStore als Feature-Speicher, der nur kuratierte Daten (Features) für das Training von Modellen speichert, als Modell-Speicher, der ein Repository mit Governance und Security bereitstellt, und schließlich als Dateninfrastruktur für eine quelloffene Vektor-Datenbank wie Milvus, die sich für semantische Suche, Ähnlichkeitssuche und so weiter eignet. Viele Daten im KI-Segment werden erst vektorisiert, um sie leichter zu durchsuchen zu machen.

Gewandelte Use Cases

Cloudian-Geschäftsführer Michael Tso sieht die bisherige Anwendungslandschaft für Cloudian in Backup/DR und Schutz gegen Ransomware-Attacken sowie in den Bereichen Gesundheitswesen, Compliance, Finanzsektor, in letzter Zeit in KI und Machine Learning, mit Analytics, die auf einem Data-Lakehouse basieren. Er sieht seine rund 800 Kunden weltweit, davon 40 Prozent in Europa, in der Kreditkartenprüfung, der Krebsforschung, im Einzelhandel, in Data-Mining und in Empfehlungen im E-Commerce.

„Alle diese Anwendungsfälle sind datengetrieben und erfordern Latenzzeiten unter einer Sekunde, so etwa bei einem der drei größten Kreditkartendienstleister. Um Betrug abzuwenden, muss eine Kreditkartentransaktion binnen einer halben Sekunde geprüft werden.“ Das gehe nur mit Objektspeicher, der die historischen Transaktionsdaten vorhält. „Wir ermöglichen Datensouveränität und Governance, während wir eine richtlinienbasierte Datenverwaltung durchführen.“

Rolle von Object Storage im Wandel

Tso beobachtet, dass sich die Rolle und Bedeutung von Objektspeicher derzeit beträchtlich wandelt. „Objektspeicher war traditionell Sekundärspeicher, bewegt sich aber jetzt in Richtung Primärspeicher. Das Datenvolumen ist groß, da die Anwender ihre Daten heutzutage nicht mehr löschen, denn sie brauchen diese für umfassende Analysen und für KI- und Machine-Learning-Modelle.“ Denn die einzige Speichertechnologie, die ausreichend skalierbar und kosteneffizient sei und sich relativ leicht handhaben lasse, um große Datenmengen für KI/Machine Learning zu verwalten, sei eben Objektspeicher.

„Als Ergebnis werden Archive und andere Langzeitspeicher deshalb inzwischen als Primärspeicher genutzt“, so Tso. „Insbesondere Kunden im Finanzsektor haben ihre internen Applikationen so ausgerichtet, dass sie die S3-API und Kubernetes als grundlegende Umgebung nutzen. Container-basierte Microservices können leicht S3-kompatiblen Objektspeicher anstelle von File Services verwenden.“

Agnostisch

Üblicherweise laufen solche Systeme auf All-Flash-Systemen, um die geringe Latenzzeit garantieren zu können. Das bedeute aber nicht, dass Cloudian nun zu einem reinen Hersteller von AFAs werden solle: „Wir sind Medium-agnostisch“ versichert Tso. „Unsere ausgelieferte Speicherkapazität besteht zu 80 Prozent aus Festplatten, aber der Flash-Bedarf steigt rasch an, so dass in nahezu jedem Vertragsabschluss Flash eine Rolle spielt. Wir haben Kunden, die Dutzende Petabyte an Flash-Speicher nutzen. Aber es gibt einen Kostenfaktor: Festplatten sind noch fünfmal preiswerter als Flash-Drives. Flash macht derzeit 20 Prozent unserer Produktionskapazitätslieferungen aus.“

Die Zukunft für Festplatten sei begrenzt: „Ich betrachte Festplatten künftig, wie ich heute Tape einstufe, und in wenigen Jahren wird HDD den long tail des Speichermarktes ausmachen.“

Die globale Datenmenge werde sich nicht nur alle zwei Jahre verdoppeln, sondern sogar in kürzerer Zeit, glaubt Tso. „Denn jedes Unternehmen muss heutzutage eine KI-Strategie haben, und KI-Modelle können gar nicht genug Daten haben, also werden in den Unternehmen gar keine Daten mehr gelöscht.“

Ausgründung EdgeMatrix

KI benötigt große Mengen an Trainingsdaten, aber für Inferenz reichen auch relativ kleine Algorithmen. „Für dieses Szenario haben wir kürzlich in Japan das Unternehmen EdgeMatrix gegründet“, berichtet der CEO. „EdgeMatrix macht Edge-basiertes Inferencing auf Cloudian-Hardware. Unser Partner ist unter anderem NTT Docomo. Die Kunden können mit unserem Produkt ein Edge-Netzwerk mit relativ leichtgewichtiger Hardware aufbauen, das Inferenz erledigt. Eine der Anwendungen ist die Video-Auswertung in Echtzeit. Das entlastet das Rechenzentrum beträchtlich.“ NTT Docomo könne damit sein 5G-Netzwerk als Edge-KI-Netzwerk bereitstellen. Unabhängige Software-Entwickler können ihre Anwendungen in den FusionStore-Marktplatz von EdgeMatrix stellen, um sie auf dem Edge-Netzwerk von Docomo ausführen zu lassen. „Der Cloudian-Schwerpunkt liegt mehr auf der Datenhaltung und dem Training-Part für die KI-Modelle.“

Neuheiten von Cloudian

„Im November werden wir unsere nächste Generation der HyperStore 8.0 Software vorstellen, die ein High-Density-Storage-System mit maximaler Leistung unterstützen wird“, kündigt Tso an. „Ein All-Flash-System, das zwei bis drei Mal schneller als unser bisheriges Topmodell (in HyperStore) ist. Es bietet höchsten Datendurchsatz pro CPU im Markt, die höchste Datendichte und den niedrigsten Energieverbrauch pro Datendurchsatz, also wenig Watt pro GB/s. Das Preis-Leistungs-Verhältnis ist also optimal.“

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 2

Datenmessies im Sammelwahn – biologische Gründe für die Datenflut

Dieses System sei mit der neuen Cloudian-HyperStore-8.0-Software ausgestattet, die Multithreading und Kernel-Optimierungen umfasst. Sie läuft auf Systemen, die mit der jüngsten AMD-EPYC-9454-CPU sowie mit Micron-6500-ION-SSDs ausgestattet sind, wie Cloudian kürzlich verlautbarte.

Microns 6500-ION-NVMe-SSDs seien die weltweit ersten 200+-Schichten-NAND-SSDs für Rechenzentren. Bei einer Speicherkapazität von 30,72 TB pro Laufwerk böten sie eine optimale Balance aus Kapazität, Leistung und Effizienz.

In den Cloudian-Tests erzielte das neue Hochleistungssystem in einem Cluster von sechs Einzelprozessor-Servern eine Schreibleistung von 17,7 GB/s und eine Leseleistung von 24,9 GB/s. Das entspreche einer Steigerung der Energieeffizienz um 74 Prozent gegenüber einem festplattenbasierten System in Cloudian-Tests.

„Da das System Software-definiert ist, läuft es auf jeder Hardware, also beispielsweise auf einem AFA“, fährt Tso fort. „Sobald eine neue Enterprise-SSD verfügbar wird, werden wir diese diesem System zur Verfügung stellen. Das ist der Grund, warum sowohl Micron als auch AMD an diesem System interessiert gewesen sind. Andere Flash-Hersteller werden folgen.“

Primary Object Storage

Tso weiter: „Wir haben bereits ein kombiniertes File-&-Object-Storage-System lanciert; der Zweck ist die Vereinfachung der Handhabung von File und Object Storage, sei es in der Datenerfassung oder beim Datenabruf, sei es durch NFS oder die S3-API. Diese Single-Plattform verfügt über ein einheitliches Management-Dashboard, das die Handhabung erleichtert.“

Bildergalerie

Hybrid-Integration mit AWS

„Wir haben seit langer Zeit eine Partnerschaft mit MS Azure, Google und AWS zwecks Object Storage mit Tiering umgesetzt“, berichtet Tso. „Cloudians HyperStore 8.0 ist fähig, Unternehmensdaten oder Edge-Daten je nach Richtlinie in die jeweilige Public Cloud zu verschieben. Das dient der Archivierung und dem Teilen von Daten mit anderen. In sechs bis zwölf Monaten vertiefen wir unsere AWS-Kooperation in der Hybrid-Cloud und am Edge in den AWS Local Zones.“

„Für Amazon Outposts werden wir in Zukunft Cloudian-AFAs anbieten, da S3 nicht als niedrig skalierter Petabyte-Speicher funktioniert, denn das S3-Minimum ist auf Exabyte ausgelegt. Die meisten Kunden handhaben jedoch ,nur‘ Petabyte. Wir bieten vollständig verwaltete Speichersysteme an, die neben AWS Outposts eingesetzt werden können. Für Local Zones bieten wir die HyperStore Software an. Wenn die Kunden eines oder beide davon haben wollen, wenden sie sich an Cloudian und können die Speichermenge angeben – von einem TB bis zu mehreren PBs –, die sie buchen möchten.“

Für den kommenden November hat der CEO ein High-Performance-Storage-Datenmigrationstool für AWS-Benutzer in Zusammenarbeit mit AWS vorbereitet: „Es verfügt über Cloudian Burst Capability, so dass der Kunde die Public Cloud als KI/ML-Burst-Rechensystem nutzen kann. Wenn also der Kunde beispielsweise keine oder nicht genügend GPUs, aber viele Daten in Cloudian hat, kann er veranlassen, dass Cloudian einen Teil dieser Daten in Amazon hochlädt und dort Berechnungen (KI/ML) ausführen lässt, so dass die Resultate lokal wieder in einem Cloudian-basierten System verarbeitet werden können.“

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

• Aktuelle Trends in der Künstlichen Intelligenz
• High-Performance Computing – Explosion der Innovationen
• Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:49753768)