Mobile-Menu

Software-Technologie für bessere Skalierung und Präzision Kioxia will mit AiSAQ den DRAM-Bedarf von GenAI-Systemen reduzieren

Von Martin Hensel 2 min Lesedauer

Anbieter zum Thema

KIOXIA Europe GmbH / Retail-SSDs
Fsas Technologies GmbH
FAST LTA GmbH

Der Speicherspezialist Kioxia hat seine neue „All-in-Storage ANNS with Product Quantization“-Technologie (AiSAQ) vorgestellt. Das quelloffene Verfahren soll die Skalierung und Genauigkeit von Vektordatenbanken in RAG-Workflows durch den Einsatz von SSDs verbessern.

Kioxia AiSAQ ist quelloffen und reduziert in GenAI-Systemen die Abhängigkeit von DRAM-Speicher.(Bild: Mohamed Hassan / Pixabay)
Kioxia AiSAQ ist quelloffen und reduziert in GenAI-Systemen die Abhängigkeit von DRAM-Speicher.
(Bild: Mohamed Hassan / Pixabay)

AiSAQ nutzt einen neuartigen Algorithmus für „Approximate Nearest Neighbor Search“ (ANNS), der für SSDs optimiert wurde. Kioxia will damit skalierbare Leistung für Retrieval-Augmented Generation (RAG) leisten, ohne dabei Indexdaten im DRAM abzulegen. Stattdessen erfolgt die Suche direkt auf SSDs.

Generative KI-Systeme erfordern erhebliche Rechen-, Speicher- und Storage-Ressourcen und verursachen dadurch hohe Kosten. RAG stellt eine kritische Phase bei der KI-Anpassung dar, in der große Sprachmodelle („Large Language Models“, LLMs) mit unternehmens- oder anwendungsspezifischen Daten verfeinert werden. Als Grundlage dient eine Vektordatenbank. Ein ANNS-Algorithmus verbessert das Modell auf Basis von Ähnlichkeiten zwischen akkumulierten und Zielvektoren. Soll RAG effektiv ablaufen, müssen die für eine Abfrage relevantesten Informationen möglichst schnell abgerufen werden. ANNS-Algorithmen werden deshalb üblicherweise im DRAM eingesetzt, um die gewünschte hohe Leistung zu erreichen.

Minimaler Speicherbedarf, hohes Tempo

Kioxia AiSAQ liefert laut eigener Angabe eine skalierbare und effiziente ANNS-Lösung für Milliarden von Datensätzen mit minimalem Speicherbedarf und schnellem Index-Switching. Große Datenbanken seien nicht mehr auf limitierte DRAM-Ressourcen angewiesen, und die Leistung von RAG-Systemen verbessere sich. Vektordatenbanken könnten sofort starten, da Indexdaten nicht mehr zunächst in den DRAM geladen werden müssten. Dies ermöglicht laut Kioxia einen nahtlosen Wechsel zwischen benutzer- oder anwendungsspezifischen Datenbanken auf demselben Server. Zudem ist die Open-Source-Technologie für Cloud-Systeme optimiert, da sie das Speichern von Indizes in disaggregiertem Speicher für die gemeinsame Nutzung durch mehrere Server ermöglicht. Dieser Ansatz soll die Suchleistung der Vektordatenbank dynamisch für bestimmte Benutzer oder Anwendungen anpassen und die schnelle Migration von Suchinstanzen zwischen physischen Servern erleichtern.

„Kioxia AiSAQ ebnet den Weg für eine nahezu unendliche Skalierung von RAG-Anwendungen in generativen KI-Systemen, die im Kern auf Flash-basierten SSDs aufbauen“, erklärt Axel Störmann, Vice President and Chief Technology Officer of Memory and SSD Products von Kioxia Europe. „Durch den Einsatz von SSD-basiertem ANNS reduzieren wir die Abhängigkeit von teurem DRAM und erfüllen gleichzeitig die Leistungsanforderungen führender In-Memory-Lösungen – was den Leistungsbereich großer RAG-Anwendungen erheblich erweitert“, ergänzt er.

Aktuelles eBook

Storage für HPC & KI

eBook Storage für HPC & KI
eBook „Storage für HPC & KI“
(Bild: Storage-Insider)

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

  • Aktuelle Trends in der Künstlichen Intelligenz
  • High-Performance Computing – Explosion der Innovationen
  • Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:50304648)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte