Cloud Storage FUSE für KI und ML

Speichertipp: Technische Architektur, Leistungsmerkmale und Integrationen in Google Cloud Cloud Storage FUSE für KI und ML

23.01.2026 Von Thomas Joos 2 min Lesedauer

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

Impossible Cloud GmbH

Cloud Storage FUSE bindet Buckets von Google Cloud Storage als lokale Dateisysteme ein und stellt Anwendungen eine Dateisystemsemantik bereit, die für Analyse-, KI- und ML-Workloads eine direkte Verarbeitung großer Datenmengen ermöglicht.

Cloud Storage FUSE soll die direkte Verarbeitung großer Datenmengen für Analyse-, KI- und ML-Workloads ermöglichen.(Bild: Midjourney / KI-generiert) — Cloud Storage FUSE soll die direkte Verarbeitung großer Datenmengen für Analyse-, KI- und ML-Workloads ermöglichen.
(Bild: Midjourney / KI-generiert)

Cloud Storage FUSE bindet Google Cloud Storage als lokales Dateisystem ein und übersetzt Objektnamen in eine hierarchische Struktur. Die Lösung selbst ist kostenfrei, erzeugt aber reguläre Cloud-Storage-Vorgänge, die abgerechnet werden. Anwendungen greifen damit ohne Codeänderungen per Dateisystemsemantik auf Objekte zu. Die Komponente nutzt FUSE im Benutzerbereich, authentifiziert sich über die standardisierten Google-Cloud-Anmeldedaten und setzt IAM-Berechtigungen für den Zugriff auf Buckets durch. Sie läuft auf Compute Engine, GKE, Deep-Learning-Images sowie Linux-Systemen und WSL.

Version 3 führt einen neuen Schreibpfad ein. Streaming-Schreiben lädt Daten während des Schreibvorgangs direkt in Cloud Storage hoch, statt komplette Dateien vorab lokal abzulegen. Das reduziert Latenz und Speicherbedarf und beschleunigt große sequenzielle Schreiboperationen wie Checkpoints. Die Engine lädt Dateien in Chunks und nutzt Wiederholungsmechanismen, die stockende Uploads früh erkennen und erneut ausführen.

Parallele Dateiübertragung mit mehreren Workern

Der Downloadpfad unterstützt parallele Datenübertragung. Mehrere Worker lesen große Dateien gleichzeitig und legen sie im Cache-Verzeichnis ab. Das beschleunigt Modell- und Checkpoint-Ladevorgänge für KI- und ML-Workloads deutlich. Optimierungen am internen Reader verbessern den Umgang mit hohen E/A-Lasten. Leistungsstarke Cloud-Maschinentypen erhalten automatisch angepasste Parameter, sofern keine manuelle Konfiguration erfolgt.

Cloud Storage FUSE leitet explizite Ordner automatisch ab. Für simulierte Ordner in flachen Buckets steht die Option „--implicit-dirs“ bereit. Für stabile Verzeichnisstrukturen empfiehlt sich ein hierarchischer Namespace. Fehlgeschlagene Cloud-Storage-Operationen nutzt Cloud Storage FUSE mit exponentiellem Back-off und dynamischen Zeitlimits neu. Leseanfragen orientieren sich am 99-Perzentil der bisherigen Latenzen, Upload-Chunks erhalten eigene Wiederholungslogik. Mit „--log-severity=TRACE“ lassen sich interne Vorgänge und zugehörige API-Aufrufe analysieren.

Integration in Kubernetes

Der CSI-Treiber integriert Cloud Storage FUSE in Kubernetes-Cluster und stellt Buckets als Volumes bereit. Dienste wie AI Hypercomputer, Cloud Run, Cloud Composer, Dataflow, Deep-Learning-Container, Vertex AI Workbench und Batch verwenden Cloud Storage FUSE für direkte Dateisystemzugriffe auf Objekte.

Datei-, Statistik-, Typ- und Listencache reduzieren API-Zugriffe und Kosten. Gängige Frameworks wie TensorFlow, PyTorch und JAX sind validiert. Unterstützt werden Rocky Linux, Ubuntu, Debian, CentOS, RHEL und SLES auf x86_64 und ARM64.

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

Aktuelle Trends in der Künstlichen Intelligenz
High-Performance Computing – Explosion der Innovationen
Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:50646156)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Geschäftliche E-Mail

Bitte geben Sie eine gültige E-Mailadresse ein.

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Stand: 08.12.2025

Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.

Einwilligung in die Verwendung von Daten zu Werbezwecken

Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.

Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.

Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.

Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.

Recht auf Widerruf

Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.