VAST Data Platform VAST stellt neue Version seiner KI-Datenplattform vor

Anbieter zum Thema

FAST LTA GmbH

Impossible Cloud GmbH

VAST Data hat Version 5.0 der VAST Data Platform vorgestellt. Das Release 5.0, das als KI-Datenplattform dienen soll, soll zahlreiche Verbesserungen für ein einfacheres, sichereres Cloud-Deployment, eine höhere Datenbank-Performance, verbesserte Sicherheit und Usability sowie Performance-Steigerungen in mehreren Dimensionen bringen.

Wie bekannt, vereint die VAST Data Platform mittlerweile – im Frühjahr 2023 fehlte noch die Engine – Speicher-, Datenbank- und containerisierte Compute-Engine-Services in einer einzigen, skalierbaren Software-Plattform. Diese wurde für den Einsatz von KI- und GPU-beschleunigten Tools in Rechenzentren und Clouds entwickelt. Die Plattform soll es Unternehmen ermöglichen, alle Daten, sowohl strukturierte als auch unstrukturierte, zu verstehen, um bessere Erkenntnisse zu gewinnen und neue Werte zu erschließen.

Bildergalerie

Vereinfachte Cloud-Implementierungen

VAST 5.0 bietet zwei neue Funktionen, mit denen Kunden ihre Cloud-Implementierungen vereinfachen können. Der VAST Multi-Cluster Manager ist zuständig für die Bereitstellung und Verwaltung von Cloud-Clustern sowie für die Schaffung von Datenfreigabe- und Replikationsbeziehungen zwischen Clustern. Dies schließt die Schaffung eines globalen Namespace-Peering über den VAST DataSpace, die Einrichtung und Überwachung von Single-Site-Replikation und Gruppenreplikation sowie die Erstellung und Verteilung globaler (beschreibbarer) Snapshots mit ein.

Eine weitere wichtige Funktion ist die AZ-weite Datenverfügbarkeit (AZ: Availability Zone). Für die langfristige Datenspeicherung hält VAST jetzt eine zweite Kopie der Daten in persistenten Datenspeichern wie AWS S3 vor. So bleiben die aktiven Daten laut VAST kostengünstig und schnell verfügbar auf AWS-EC2-Volumes, und diese Daten sind vor einem AZ-Ausfall geschützt, da sie auch auf einer persistenten und kostenoptimierten Speicherebene wiederhergestellt werden können.

Erhöhte Datenbankleistung

Seit Version 4.6 unterstützt die VAST Data Platform einen tabellarischen Datenspeicher, der alle Aspekte der Datenbankmanagementdienste beschleunigt. Hierzu zählen die unbegrenzte Skalierung beim Einfügen, einfache Tabellenaktualisierungen und eine Abfrageleistung, die für die Nutzung von NVMe-Laufwerken (Flash-Memory) optimiert ist. Dies führt nicht nur zu 100-mal schnelleren Abfragen im Vergleich zu festplattenbasierten Data Lakes, sondern auch zu einer wesentlich einfacheren Datenentwicklung. Zu den Neuerungen in Version 5.0 zählen auch semi-sortierte Projektionen. Bei vorsortierten Daten sollen Kunden eine Leistungssteigerung von tausend Prozent bei Abfragen erzielen, die von gefilterten Projektionen profitieren können.

Verbesserte Sicherheit und Benutzerfreundlichkeit

Audit-Protokolle werden jetzt in der VAST DataBase gespeichert und sind in Echtzeit abrufbar. Ein neuer Ansatz für die Speicherung von Tabellendaten ermöglicht es der Plattform, Daten mit hoher Geschwindigkeit einzufügen (wie eine Transaktionsdatenbank) und als feingranulare Spalten abzufragen, um eine hohe Analyseleistung zu erhalten. Dies macht die Plattform nach Ansicht des Herstellers ideal für die Erfassung und Überwachung von Ereignissen in Echtzeit, wie sie etwa im Internet der Dinge (IoT) und am Edge auftreten.

Ab Version 5.0 können Kunden die VAST DataBase als Plattform für die Erfassung und Analyse von Protokollen nutzen. Der Remote-Cloud-basierte Management-Service verfügt jetzt über eine ML-gestützte Ereignisverarbeitung, um anomales Verhalten zu verstehen, das auf unzulässiges Benutzerverhalten sowie Bedrohungen wie Ransomware-Angriffe hinweisen kann.

Mehrdimensionale Performance-Steigerungen

Ziel bei Version 5.0 sei es erneut gewesen, den Benutzerzugriff so schnell wie möglich zu gestalten und für Anwendungen die Recheninfrastruktur zu flexibilisieren, um die bestmögliche Recheneffizienz zu erreichen. Da interaktive Dienste die Zufriedenheit der Benutzer viel stärker beeinflussen als Anwendungen, die VAST für Batch-Workloads verwendet, habe VAST besonders darauf geachtet, interaktive Dienste schneller zu machen.

Bildergalerie

Die Leistungsverbesserungen umfassen laut Hersteller:

• Quality of Service auf Benutzerebene begrenzt die Auswirkungen, die ein einzelner Power-User auf den Datenzugriff aller anderen User haben kann.

• Ein blockbasierter Lese-Cache sorgt dafür, dass vorgezogene und wiederholte Leseereignisse eine bis zu zehnfache Beschleunigung gegenüber NVMe erfahren. Für Aktivitäten, die immer wieder auf dieselben Verzeichnisse, S3-Buckets oder Tabellen zurückgreifen, bietet der neue Block-Cache eine deutliche Beschleunigung.

• VAST legt nun Schwellenwerte fest, bei denen das System dynamisch entscheidet, ob es sinnvoll ist, die Ähnlichkeitsreduktion anzuwenden, indem es zunächst den Gesamtnutzen der Datenreduktion ermittelt.

• Für eine Reihe von I/O-Operationen, einschließlich der Bereitstellung von Lese-/Schreibpfaden und der Handhabung von Metadaten, werden jetzt mehr Threads von Server-CPUs für die Verarbeitung von Lese-/Schreib-I/O zugewiesen. Das führt zu einer erheblichen Verbesserung von bis zu 30 Prozent bei zufälligen I/O-Operationen.

• Reduzierte synchrone RPCs für Metadaten-Transaktionen und die damit effizientere Verarbeitung vermindern die Latenzzeit für Metadatentransaktionen um zehn Prozent.

Beispiele für innovative KI-Cloud-Kundenprojekte

Unternehmen aus allen Branchen und staatliche Organisationen vertrauen nach Herstellerangaben auf VAST Data. In der wachsenden Kundenliste finden sich unter anderem die Genomikforscher von CeGAT aus Tübingen, die Weltraumfahrtbehörde NASA, Pixar und Zoom. Dass das Lawrence Livermore National Laboratory für die Medikamentenforschung und den Klimaschutz nutzt, zeigt, dass auch Regierungsbehörden einen hohen Bedarf im High-Performance-Computing haben.

Drei aktuelle KI-Cloud-Kundenprojekte zeigen, wohin die Reise mit VAST geht: Lambda wählte die VAST Data Platform für seine On-Demand-GPU Cloud, die „erstklassige“ GPU-Set-ups für LLM-Aufgaben in KI bietet. VAST DataSpace verbessere hierbei die Datenverarbeitung in Hybrid-Clouds.

CoreWeave habe in VAST Data eine „flexible und kostengünstige“ KI-Plattform gefunden. CoreWeave liefere eine hochleistungsfähige Compute-Infrastruktur für anspruchsvolle Anwendungen, nicht nur im Cloud-Maßstab, sondern auch im KI-Maßstab.

CoreWeave und VAST Data intensivieren Partnerschaft

Storage für die KI-Cloud

Core42 (vormals G42 Cloud) ist ein „führender“ Cloud-Anbieter in den Vereinigten Arabischen Emiraten (VAE). Core42 und VAST haben sich in einer strategischen Partnerschaft zusammengeschlossen, um die Zukunft des datenintensiven KI-Computing neu zu gestalten. Core42 habe sich für die VAST Data Platform entschieden, um eine zentrale Datengrundlage für ein globales Netzwerk von KI-Supercomputern zu schaffen und Hunderte von Petabyte an Daten zu speichern und daraus zu lernen.

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

• Aktuelle Trends in der Künstlichen Intelligenz
• High-Performance Computing – Explosion der Innovationen
• Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:49848648)