Cloud-Storage Das stille Fundament der KI

Anbieter zum Thema

Wasabi Technologies

DataCore Software GmbH

FAST LTA GmbH

Beim Einsatz von KI zählen vor allem die Ergebnisse – seien es neue Inhalte, automatisierte Prozesse oder völlig neue Erkenntnisse. Damit KI-Technologien erfolgreich arbeiten, müssen Daten richtig gespeichert, abgerufen und verwaltet werden.

Das sind ebenjene Aspekte, die im Hintergrund laufen, aber von zentraler Bedeutung sind. Die zugrunde liegende Speicherinfrastruktur wird so zum entscheidenden Erfolgsfaktor und bildet in ihrer Gesamtheit die sogenannte KI-Data-Pipeline.

Storage ist keine technische Nebensache

KI-Anwendungen greifen oft auf Terabytes oder sogar Petabytes an Daten zurück. Diese Informationen sind häufig unstrukturiert und unvollständig. Um sie verarbeiten zu können, benötigen IT-Teams Speicherlösungen, die hohe Geschwindigkeiten bei der Datenaufnahme (Ingestion) unterstützen, für Datensicherheit sorgen und zuverlässigen Zugriff bieten. Das gilt für den gesamten KI-Lebenszyklus, so müssen sowohl aktuelle als auch historische Datensätze jederzeit abrufbar sein. Sollte sich der Zugriff jedoch als zu langsam, teuer oder komplex erweisen, kann bereits die Experimentierphase ins Stocken geraten. Das Gesamtsystem verliert so an Flexibilität, auch wenn die KI-Modelle selbst hochentwickelt sind.

Die KI-Data-Pipeline verläuft dabei selten linear. Die Anforderungen variieren je nach Phase: Während der Ingestion zählen Durchsatz und Skalierbarkeit, beim Training und bei der Validierung stehen Geschwindigkeit und geringe Latenz im Vordergrund. Für die Langzeitspeicherung sind dagegen Haltbarkeit und Kostenoptimierung entscheidend. Außerdem greifen IT-Teams beim Retraining oder zum Vergleich von Ergebnissen oft auf Datensätze zurück, die sie bereits vor Monaten archiviert haben.

Es ist daher wichtig, die passende Speicherlösung für die jeweilige Anforderung zu wählen. Wenn jeder Schritt in der KI-Data-Pipeline ausschließlich mittels High-Performance-Storage abgedeckt würde, würden die Kosten schnell explodieren. Nicht alle Workloads benötigen die gleiche Performance, und nicht jeder Datensatz muss in teuren, schnellen Umgebungen gespeichert werden. Kosteneffizientes Datenmanagement bedeutet, den richtigen Speicher zum richtigen Zeitpunkt zu verwenden. So lassen sich Ressourcen flexibel an die jeweiligen Anforderungen anpassen. Entsprechend konzipierte Storage-Lösungen führen sowohl zu mehr Effizienz im operativen Bereich als auch zu höheren Investitionsrenditen.

Skalierung wird immer wichtiger

Angesichts der zunehmenden Abhängigkeit von KI und maschinellem Lernen wird die Nachfrage nach Cloud-Storage-Lösungen deutlich steigen. Laut aktuellen Studien erwarten fast zwei Drittel der Unternehmen, die die Cloud als primäres Speichermedium nutzen, dass sich ihr Speicherbedarf in den nächsten drei Jahren mehr als verdoppeln wird. Das Datenvolumen, das durch KI-Modelle generiert, gespeichert und wiederverwendet wird, wächst dabei exponentiell.

Schätzungen des international tätigen Marktforschungsunternehmens IDC zufolge liegen 89 Prozent der Daten, die bei großen Cloud-Anbietern gespeichert werden, auf Festplatten. Diese Zahl spiegelt den Umfang und die Haltbarkeit wider, die für die Verwaltung solcher Daten notwendig sind. Sie zeigt aber auch, dass ein Großteil der KI-Infrastruktur noch immer auf traditionellen Speichertechnologien basiert. Den Zugriff und die Performance auf allen Ebenen der Data-Pipeline zu optimieren, bleibt daher eine zentrale Herausforderung.

Mittlerweile hat sich die Objektspeicherung in der Cloud (Cloud-Object-Storage) als praktikable Lösung für viele Phasen der KI-Data-Pipeline etabliert. Diese Art der Speicherung wird spezialisierte Hochleistungsspeicher zwar nicht ersetzen, sie unterstützt jedoch den Datenfluss in Organisationen. Mittels Object-Storage können IT-Teams umfangreiche Daten leicht zugänglich, sicher und preiswert speichern, selbst wenn Monate zwischen der letzten Nutzung liegen. Diese Kontinuität wird immer wichtiger, weil sich die KI-Entwicklung in Organisationen zunehmend von einem einmaligen Projekt zu einem fortlaufenden Prozess wandelt.

Preisfalle hemmt Potenzial

Ein häufiges Problem beim Thema Storage sind dabei nicht die Kosten für die Speicherlösung selbst, sondern die Zusatzzahlungen. So erheben einige Anbieter Gebühren für das Abrufen oder Interagieren mit den gespeicherten Daten. Diese mögen für sich genommen gering erscheinen, doch bei datenintensiven Arbeitsabläufen summieren sie sich im Handumdrehen. Dieser zusätzliche Aufwand kann wiederum Teams daran hindern, iterative Prozesse durchzuführen oder neue Hypothesen zu testen.

Wenn Organisationen ihre Speicherarchitektur festlegen, beeinflussen sie damit direkt, wie flexibel sie mit KI umgehen, wie experimentierfreudig sie bleiben und welche Kosten entstehen. Systeme, die eine transparente Preisgestaltung bieten und einen einfachen Zugriff ermöglichen, fördern eine nachhaltigere und agilere Entwicklung von KI.

Bei KI zählt, was langfristig zielführend ist

Die erfolgreichsten KI-Projekte sind meist diejenigen, die sich kontinuierlich weiterentwickeln. Dafür reicht ein leistungsstarkes Modell allein nicht aus. Entscheidend ist eine Dateninfrastruktur, die zuverlässig, zugänglich und flexibel genug ist, sich den Arbeitsprozessen der Teams anzupassen. Mit der wachsenden Bedeutung von KI in allen Branchen wird Cloud Storage auch künftig ein grundlegender Erfolgsfaktor bleiben – und als stilles Fundament der KI die weitere Entwicklung maßgeblich prägen.

* Der Autor Marco Pfuhl wurde im Juni 2025 zum DACH-Chef bei Wasabi Technologies ernannt.

Bildquelle: Wasabi Technologies

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

• Aktuelle Trends in der Künstlichen Intelligenz
• High-Performance Computing – Explosion der Innovationen
• Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:50554232)