Speichersysteme für KI-Anwendungen Was ist KI-Storage?

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

KI-Storage ist eine für die Anforderungen von Anwendungen der Künstlichen Intelligenz und des Maschinellen Lernens entwickelte und optimierte Speicherlösung. Sie kann mit großen Datenmengen umgehen, ermöglicht eine performante Datenverarbeitung, ist extrem skalierbar und arbeitet effizient.

Eine allgemein anerkannte Definition für den Begriff KI-Storage existiert nicht. Hersteller von KI-Storage-Lösungen interpretieren den Begriff teils unterschiedlich. Auch die technischen Implementierungen unterscheiden sich.

Im Allgemeinen versteht man unter KI-Storage eine Speicherlösung oder Speicherinfrastruktur, die speziell für die besonderen Anforderungen von Anwendungen der Künstlichen Intelligenz und des Maschinellen Lernens entwickelt und optimiert ist. Sie bietet die von KI- und ML-Workloads benötigte Speicherkapazität, kann mit großen Mengen unstrukturierten Daten umgehen, ist extrem skalierbar, ermöglicht einen schnellen Datenzugriff und eine performante Datenverarbeitung und arbeitet dennoch kosten- und energieeffizient. KI-Storage unterstützt das Training und den Betrieb komplexer Modelle der Künstlichen Intelligenz, wie generativen großen Sprachmodellen (Large Language Models – LLM).

Die besonderen Anforderungen an KI-Storage

Riesige Mengen unstrukturierter Daten bilden die Basis moderner Anwendungen und Modelle der Künstlichen Intelligenz. Modelle mit ihren künstlichen neuronalen Netzwerken werden mit Texten, Bildern, Audiodaten, Videos oder Messdaten trainiert und lernen per Deep Learning, Muster und Strukturen in den Daten zu erkennen und daraus Vorhersagen abzuleiten oder neue Inhalte zu generieren. Für das Training der Modelle und die anschließende Anwendung des erlernten (Inferenz) sind herkömmliche Speicherlösungen eher ungeeignet. KI-Storage muss unter anderem diese Anforderungen erfüllen:

• skalierbare Speicherkapazität bis in den Petabyte-Bereich,

• hohe Speicherdichte,

• geeignet für unterschiedliche Arten von Daten,

• automatische Datenplatzierung auf verschiedenen Storage-Systemen und -Medien (Storage-Tiering),

• hohe Verfügbarkeit und Datenbeständigkeit,

• hohe Performance (schneller und paralleler Datenzugriff, niedrige Latenz, hoher Durchsatz beim Lesen und Schreiben),

• Datensicherheit mit Zugriffskontrollen und Verschlüsselung,

• energieeffizienter Betrieb,

• geringer Platzbedarf,

• einfach zu verwalten,

• kostengünstig.

Technische Implementierung von KI-Storage

Die technische Implementierung von KI-Storage kann abhängig vom Hersteller und Produkt sehr unterschiedlich sein. Typisch für KI-Storage ist eine Software-basierte Abstraktionsschicht zur Verwaltung und Steuerung des Storage-Service und der eingesetzten Hardware. Die Speichergrundlage bilden häufig massiv parallele und extrem skalierbare Datei-, Block- und Objektspeicher. In die Gesamtlösung lassen sich verschiedene Speichertechnologien integrieren und miteinander mischen.

Für Daten, auf die oft und mit hoher I/O-Leistung zugegriffen werden muss, kommen schnelle All-Flash- und NVMe-Systeme zum Einsatz. Weniger oft benötigte Daten können auf günstigen Speichern wie Festplatten abgelegt werden. Die Software-basierte Abstraktionsschicht sorgt für eine optimale und passende Verteilung der Daten.

KI-Storage nutzt häufig auch selbst Künstliche Intelligenz, Maschinelles Lernen und Prädiktive Analytik, um für eine intelligente Speicherbereitstellung zu sorgen. Storage-Infrastrukturdaten werden kontinuierlich gesammelt und analysiert. So lassen sich Trends erkennen und Vorhersagen ableiten, um proaktiv die richtigen Maßnahmen zur Optimierung der Storage-Ressourcen zu ergreifen. Weitere von KI-Storage genutzte Technologien sind Datendeduplizierung, Datenkompression, intelligentes Caching und vieles mehr.

(ID:50117699)