Vast Data Betriebssystem fürs KI-Zeitalter

Anbieter zum Thema

VAST Data

FAST LTA GmbH

Impossible Cloud GmbH

Vast, das vor etwa einem Jahr seine Datenplattform vorstellte, sieht seine Lösung inzwischen als Betriebssystem des KI-Zeitalters. Jetzt präsentierte der Hersteller mit Kooperationspartner Nvidia Insight Engine die erste Applikation für die Plattform.

Bisherige IT-Architekturen kommen mit den Anforderungen der KI nur eingeschränkt zurecht. Probleme mit Skalierung, Indexierung und dem Einbezug externer Daten, insbesondere von Streaming-Daten in Echtzeit, machen Probleme. Sie behindern die Tauglichkeit vieler Lösungen für Unternehmenszwecke.

Bildergalerie

Vast Data, 2016 von Renen Hallak (Ex-XtremeIO/Dell EMC) gegründet, setzte sich anfangs zum Ziel, eine Storage-Plattform für das Datenzeitalter zu bauen. 2019 wurde das Konzept Disaggregated Share Everything (DASE) als Basis aller weiteren Produkte veröffentlicht.

Konsequent getrennte Ebenen

Dabei werden Compute- und Storage-Layer sowie Logik- und Statusschicht voneinander getrennt. Durch diese Architektur können beliebig viele Compute-Knoten, von denen keiner dauerhaft Daten speichert (stateless), gleichzeitig auf die gesamte, vereinheitlichte Storage-Schicht, den Element Store, zugreifen. Diese Zugriffe erfolgen über eine Hochleistungs-Netzwerkfabric. Sie wird mit breit verfügbaren Technologien realisiert.

Im Element Store befinden sich nicht nur Daten. Er hat auch eine Datenstruktur, die sich massiv skalieren lässt. Daten werden so in einer Baumstruktur (V-Tree) gespeichert, dass sie mit möglichst wenigen Zwischenstationen im Zugriff sind. Die Architektur ermöglicht es, Workloads über Tausende Verarbeitungsknoten zu verteilen.

Erweiterungen für die Vast Data Base

Nach diesem Storage-Konzept folgte im Jahr 2023 das Konzept der Data Platform, in der Vast inzwischen das Betriebssystem des Datenzeitalters sieht. Anfangs wurden nur unstrukturierte Daten unterstützt, ab 2023 gab es mit der Vast Data Base auch einen Datenspeicher für strukturierte Daten.

Seit diesem Jahr kann die Datenbank auch mit Vektoren und Embedded Search umgehen. Außerdem lassen sich über einen „Event Bus“ Event-Streams, also Messages, direkt ins System integrieren. Laut Vast schafft die Lösung Millionen von Events pro Sekunde.

Logik steckt in Data Engine

Weiter gehört zur Datenplattform neben der Storage und der Database eine Data Engine, die die Logik für datenspezifische Aufgaben mitbringt, beispielsweise dafür, SQL-Statements in die Programmiersprache C umzusetzen. Das Betriebssystem der Gesamtlösung wurde jetzt durch Python-Funktionen für die native Event-Verarbeitung mit vom Kunden definierten Event-Triggern erweitert.

Die Data Spaces sind globale Namensräume, die sich über unterschiedliche Standorte in der Hybrid-Cloud erstrecken können und alle Daten im selben Data Space logisch zusammenbinden.

Insgesamt konnte sich Vasts Data Plattform auf den Märkten gut etablieren. „Es gibt mit der Data Platform eine Explosion der Datennutzung, wobei sie im Zentrum der AI-Factory steht“, sagte Jeff Denworth, Mitgründer von Vast Data. Beispielsweise wurde xAI LLM Grok auf einer Vast-Infrastruktur trainiert.

Nvidia-Services auf Vast: Insight Engine

Nun gab es in diesem Zusammenhang eine weitere Ankündigung. Eigentlich war sie für das kommende Jahr geplant, in dessen erstem Halbjahr die Lösung auch zur Verfügung stehen soll. Doch nun wurde sie vorgezogen. Mit Insight Engine, einem gemeinsam mit Nvidia entwickelten Produkt, präsentierte Vast zusammen mit Nvidia in einer weltweiten Telco die erste Applikation, die direkt auf der Data Platform laufen wird.

Mit Insight Engine laufen direkt auf der Vast Data Platform Nvidias NIMs (Nvidia Ingest Microservices), sonst ein Bestandteil des Nvidia-Stacks, der auf Nvidia-Hardware zu finden ist. Durch diese Architektur könne ein System mit Data Platform und Insight Engine alle Arten von Daten in Echtzeit in die Beantwortung von Fragen einbeziehen. Das gelte auch für Vektordaten und Graphen. Auch Text-to-SQL werde in Echtzeit dem bestehenden Datenbestand hinzugefügt. Das alles kommt als vorkonfigurierter Workflow.

„Speicherhungrig“ – der Storage-Insider-Podcast, Folge 8

Speichergrößen: Michael Heuer, Keepit

Billionen Events verarbeiten

Dabei können Streams und Events Ketten weiterer Events auslösen, die parallel verarbeitet werden. Die Data Plattform könne nicht nur Millionen von Events pro Sekunde und Billionen Embeddings gleichzeitig handhaben, sondern zudem im selben Zeitraum auch noch Anfragen parallel abarbeiten.

Die hochgradige Skalierungsfähigkeit der Lösung habe mit der Architektur zu tun: Die einzelnen Software-Services sind als Container ausgeführt. Wird mehr Leistung benötigt, fügt man einfach neue Container hinzu.

Im Gespräch erkundeten Jensen Huang, Gründer und CEO von Nvidia, und Vast-CEO Hallak die weitergehenden Perspektiven von AI, die sich aus der gemeinsamen Ankündigung ergeben.

Künstliche Intelligenzen sollen selbsttätig Workflows bauen

Huang postulierte, die Tendenz gehe hin zur multimodality und zum multi-step-reasoning. Darunter ist zu verstehen, dass zwei oder mehrere große Modelle Lösungen für an sie gestellte Fragen im Dialog entwickeln. Huang: „Die größeren Modelle können in Zukunft die kleineren anlernen.“

Schon heute gingen Software-Ingenieure schrittweise vom Menschen- zu AI-generiertem Code und AI-gesteuerten Workflows über. In der von Huang skizzierten AI-Zukunft sagt der Anwender seiner AI-Architektur, was das Ziel eines Vorhabens ist, skizziert die Eigenschaften der angestrebten Lösung und nennt die zur Verfügung stehenden Datenquellen. Die AI entscheidet dann selbst, was sie einbezieht und wie der Prozess orchestriert wird.

Sicherheit über Datenkatalog

Gleichzeitig betonten beide, wie wichtig Sicherheit und Compliance seien. Vast realisiert sie in seiner Plattform über einen Datenkatalog. In ihm stehen alle strukturierten und unstrukturierten Daten – samt einer Zelle mit allen aktuellen Zugriffsrechten. Außerdem speichert das System die Veränderungsgeschichte jedes Datums.

Zerhackt das System größere Files in Datenblöcke oder verwandelt sie in Vektoren, enthält jede Komponente einen Zeiger auf die Fundstelle der Originaldaten im Datenkatalog, wodurch auch geklärt ist, wer auf die Daten wie zugreifen darf.

Bildergalerie

Vast gründet Cosmos-AI-Community

Zweifel an der rasanten Geschwindigkeit der AI-Entwicklung und den damit verbundenen Risiken, wie sie von Wissenschaftlern und auch Aussteigern aus der Boom-Industrie derzeit häufig geäußert werden, fechten weder Nvidia noch Vast an. Im Gegenteil, es soll möglichst noch schneller gehen.

Um den fruchtbaren Austausch zwischen entwickelnden Unternehmen und Anwendern sowie der Beratungslandschaft zu befördern, hat Vast deshalb Cosmos, eine AI-Community, gegründet. Ihr gehören neben Vast bereits wichtige Verbündete wie xAI, Cisco, Nvidia, Supermicro, aber auch KI-Anwender wie etwa ServiceNow, HSBC, die Chan Zuckerberg Initiative oder die indische OLA an.

Chan Zuckerberg möchte mit Hilfe von durch AI verstärkter Zell- und genetischer Forschung die meisten Krankheiten bis zum Jahr 2030 beseitigen. OLA hat sich zum Ziel gesetzt, global nutzbare AI-Cluster in Indien aufzubauen und das Land in Sachen AI autonom zu machen. Beide setzen bei ihren selbstgewählten Aufgaben auf Infrastruktur von Vast Data.

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

• Aktuelle Trends in der Künstlichen Intelligenz
• High-Performance Computing – Explosion der Innovationen
• Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:50191080)