All-in-Storage Approximate Nearest Neighbor Search with Product Quantization Was ist die AiSAQ-Technologie?

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

Die AiSAQ-Technologie wurde von Kioxia, einem weltweit führenden Anbieter von Speicherlösungen, entwickelt. Es handelt sich um Open-Source-Software, mit der sich der DRAM-Bedarf in generativen KI-Systemen reduzieren lässt. AiSAQ ermöglicht skalierbare Leistung für Retrieval Augmented Generation (RAG), ohne dass Indexdaten im DRAM abgelegt werden müssen.

Das Kürzel AiSAQ bedeutet ausgeschrieben „All-in-Storage Approximate Nearest Neighbor Search with Product Quantization“. Die AiSAQ-Technologie wurde vom Unternehmen Kioxia, ehemals Toshiba Memory, entwickelt und Anfang des Jahres 2025 erstmals vorgestellt. Kioxia ist ein weltweit führender Anbieter von Speicherlösungen und gilt als einer der Pioniere in der Entwicklung von 3D-NAND-Flash-Technologien.

Die AiSAQ-Technologie reduziert den DRAM-Bedarf in generativen KI-Systemen. Sie sorgt für skalierbare Leistung für Retrieval Augmented Generation (RAG), ohne dass Indexdaten im DRAM abgelegt werden müssen. Die Suche kann dank der Technologie direkt auf den SSDs erfolgen. Der ANNS-Algorithmus (Approximate Nearest Neighbor Search) wurde hierfür speziell für SSDs optimiert. Die Skalierbarkeit von Vektordatenbanken ist dank AiSAQ nicht mehr durch begrenzte DRAM-Kapazität eingeschränkt.

Kioxia veröffentlichte die AiSAQ-Technologie in Form von auf GitHub frei verfügbarer Open-Source-Software. Mitte des Jahres 2025 erfolgte eine Aktualisierung der Software mit neuen Steuerungsfunktionen, die das Festlegen des Verhältnisses zwischen Suchleistung und der Menge an Vektoren vereinfachen.

Motivation für die Entwicklung der AiSAQ-Technologie

Generative KI-Systeme wie große Sprachmodelle (LLMs) benötigen große Mengen an Rechenleistung, Arbeitsspeicher und Storage. Eine wichtige Komponente vieler KI-Systeme ist RAG (Retrieval Augmented Generation). RAG ermöglicht die Anpassung von KI-Systemen wie LLMs, indem ihnen anwendungs- oder unternehmensspezifische Daten bereitgestellt werden.

Retrieval Augmented Generation arbeitet in der Regel mit Vektordatenbanken. In diesen Datenbanken werden spezifische Informationen zusammengeführt und in Form von Vektoren dargestellt. Die für die Anreicherung der KI-Systeme und die Verbesserung der Ergebnisse relevanten Informationen müssen sich schnell aus den Datenbanken abrufen lassen. Die entsprechenden Vektoren werden über ANNS-Algorithmen identifiziert, die üblicherweise, um die gewünschte hohe Leistung zu erzielen, im DRAM eingesetzt werden.

ür die oft vielen Milliarden von Datensätzen ist eine große Menge an DRAM erforderlich, was die Kosten für die KI-Systeme weiter in die Höhe treibt. Die AiSAQ-Technologie reduziert den DRAM-Bedarf. Es müssen keine Daten im DRAM abgelegt werden. Die Suche kann über angepasste ANNS-Algorithmen direkt auf günstigeren SSDs erfolgen. Die Abhängigkeit von teurem DRAM wird reduziert; gleichzeitig erzielt die AiSAQ-Technologie mit ihrem schnellen Index-Switching Leistungen, die mit In-Memory-Lösungen vergleichbar sind.

Die Vorteile der AiSAQ-Technologie sind kurz zusammengefasst folgende:

• reduziert den DRAM-Bedarf von KI-Systemen mit RAG,

• ermöglicht die Skalierung von RAG in großem Umfang und den Betrieb großer Datenbanken,

• reduziert die Einschränkungen durch limitierte DRAM-Ressourcen,

• schnellerer Start der Vektordatenbanken, da sie nicht in den DRAM geladen werden müssen,

• auch für Cloud-Systeme optimiert,

• als kostenlose Open-Source-Software verfügbar,

• auch für andere Anwendungen mit großen Vektordatenbanken einsetzbar (zum Beispiel für die semantische Offline-Suche).

(ID:50548012)