Speichertipp: CubeFS kombiniert Objekt- und Dateispeicherung mit starker Konsistenz und multiprotokollfähigem Zugriff CubeFS: hochskalierbares Cloud-Dateisystem für hybride Datenlasten

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

CubeFS verbindet die Stärken klassischer Dateisysteme mit moderner Objektspeicherung in einer verteilten Architektur. Das System adressiert Big Data, KI und Cloud-Workloads gleichermaßen und bietet skalierbare, konsistente und mandantenfähige Speicherinfrastruktur auf Open-Source-Basis.

Ein offenes Speicher-Backend für KI, Datenbanken und Containerplattformen, mit nativer Unterstützung für POSIX, HDFS und S3: CubeFS strukturiert Massendaten über verteilte Metadaten, replizierbare Datenpartitionen und optionale Erasure-Coding-Blobs. Die Architektur priorisiert Skalierbarkeit, Mehrmandantenfähigkeit und beschleunigten Zugriff auf Hot-Data.

Komponenten von CubeFS

Die zentrale Komponente bildet das Master-Cluster, das Volumes orchestriert, Knotenstatus verwaltet und Zugriffskoordinaten verteilt. Clients kommunizieren über POSIX-, HDFS- oder native REST-Schnittstellen direkt mit Object-Nodes, Meta-Nodes und Data-Nodes. Parallel lässt sich der Zugriff über AWS-kompatible S3-APIs realisieren. Diese Multiprotokollfähigkeit erleichtert die Integration in bestehende Workflows und erlaubt eine simultane Nutzung verschiedener Applikationstypen, von Legacy-Systemen bis hin zu Cloud-nativen Microservices.

Das Metadaten-Subsystem basiert auf speicherresidenten Partitionen, deren Struktur durch zwei separate B-Bäume – einen für Inodes, einen für Directory-Einträge – abgebildet wird. Dieses Layout verbessert den Zugriff auf Metadaten erheblich, besonders bei gleichzeitigen Zugriffsmustern. Daten selbst werden in Partitionen auf Data-Nodes abgelegt und wahlweise per Replikation oder Erasure-Coding verteilt. Für sequentielle Schreibvorgänge nutzt CubeFS ein Primary-Backup-Modell zur Synchronisation; bei zufälligem Überschreiben greift ein Multi-Raft-Protokoll zur Wahrung starker Konsistenz.

Mehrstufiges Caching

Die Performance wird zusätzlich durch mehrstufiges Caching gesteigert. Ein optionaler Blockcache auf dem Clientgerät ermöglicht direkte Lesezugriffe vom lokalen Speicher. Für größere Datenmengen kann ein globaler Cache auf SSD-basierten Data-Nodes eingerichtet werden, der über das Netzwerk ansprechbar bleibt und dynamisch skaliert. Beide Cache-Ebenen optimieren speziell kleine Dateien und heißen Zugriff in hybriden Umgebungen.

Auch der Multi-Tenant-Betrieb ist nativ vorgesehen. CubeFS trennt Ressourcenzugriffe logisch nach Tenants und unterstützt granulare Isolierungsrichtlinien. Die Skalierung einzelner Komponenten, Master-Node, Meta-Node, Data-Node, erfolgt horizontal. Dadurch lässt sich das System sowohl in Private Clouds als auch auf Public-Cloud-Plattformen betreiben und in Kubernetes-Umgebungen per CSI-Plug-in einbinden.

Anwendungsfälle von CubeFS

Als typischer Anwendungsfall gilt die Ablösung monolithischer NAS-Systeme oder HDFS-Backends durch CubeFS-Volumes. Im Big-Data-Kontext versorgt das System Apache Spark oder Hive mit performantem, gemeinsam nutzbarem Speicher. In ML-Szenarien dient es als Backend für Trainingsdaten, Modellverteilung und Checkpointing. Datenbanken wie MySQL profitieren von der Entkopplung von Speicher- und Recheneinheiten, mit Zugriffen über standardisierte Dateisystemschnittstellen. Für containerisierte Dienste lassen sich Konfigurationsdaten und Shared States persistent ablegen, ohne auf zentrale Storage-Appliances angewiesen zu sein. Die Open-Source-Implementierung ist vollständig in Go realisiert.

Aktuelles eBook

Open-Source-Storage – Speicher-Software zum Nulltarif

Der Bedarf an Speicherkapazität steigt von Tag zu Tag – nicht nur, um die Daten von Produkten, Kunden und Transaktionen zu sichern, sondern auch, um Compliance-Anforderungen zu erfüllen und Auditierungen gut zu überstehen. Eine leistungsfähige Storage-Lösung ist also gefragt. Eine kostenlose Option bietet Open-Source-Software für Storage, insbesondere dann, wenn man sie selbst den eigenen Anforderungen anpassen darf.

Die Themen im Überblick:

• Warum Storage als Open Source?
• NAS & Objektspeicher
• Backup & Disaster Recovery
• Dateisysteme
• Technologiestapel & Ökosysteme

eBook „Open-Source-Storage“ kostenlos downloaden

(ID:50499402)