Tipp: Apache Ozone trennt Namespace- und Blockverwaltung und repliziert über RAFT Skalierbarer Objektspeicher für Hadoop und Kubernetes

Anbieter zum Thema

Impossible Cloud GmbH

Apache Ozone vereint die S3-API und das Hadoop File System in einem verteilten Speicher. Die Plattform trennt die Verwaltung von Metadaten und Datenblöcken, hält die Konsistenz über das RAFT-Protokoll und bindet Kerberos, Apache Ranger und Verschlüsselung im Cluster ein.

Apache Ozone ist ein Top-Level-Projekt der Apache Software Foundation und richtet sich an Cluster, die Datenmengen jenseits der Grenzen klassischer HDFS-Installationen verwalten. Der Speicher zielt auf zweistellige Milliardenzahlen an Dateien und Blöcken und arbeitet auf physischen Knoten und in containerisierten Umgebungen unter Kubernetes oder YARN. Der Aufbau aus getrennten Diensten, die Zugriffswege über S3 und Hadoop sowie das Sicherheitsmodell prägen den Einsatz im Rechenzentrum.

Getrennte Dienste für Metadaten und Blöcke

Ozone teilt die Verantwortung auf mehrere Dienste auf. Der Ozone Manager (OM) führt den Namensraum aus Volumes, Buckets und Keys und legt die Metadaten in einer RocksDB-Instanz ab. Damit verlässt der Speicher das Modell des HDFS-NameNode, der die gesamten Metadaten im Arbeitsspeicher hält und so die erreichbare Dateizahl begrenzt. Der Storage Container Manager (SCM) verwaltet den Blockraum, organisiert die Container und steuert den Lebenszyklus der Datanodes. Die Datanodes schreiben die Nutzdaten in Container, die als Einheit der Replikation dienen.

Die Konsistenz sichert Apache Ratis, eine Implementierung des RAFT-Protokolls. Über Ratis stimmen die beteiligten Knoten Schreibvorgänge ab und halten die replizierten Kopien synchron. Ein Cluster übersteht damit den Ausfall mehrerer Knoten ohne Datenverlust.

Zugriff über S3 und Hadoop File System

Anwendungen erreichen Ozone über zwei Schnittstellen. Das S3 Gateway stellt eine S3-kompatible API bereit und nimmt Anfragen am Port 9878 entgegen. Bestehende S3-Clients sprechen den Endpunkt ohne Anpassung an und legen darüber Buckets an oder laden Objekte hoch. Parallel bedient Ozone die Hadoop File System API, sodass Analyse-Frameworks aus dem Hadoop-Umfeld direkt auf den Datenbestand zugreifen.

Mit Version 2.0.0 bindet Ozone Apache HBase als erster Objektspeicher an und erlaubt damit Lese- und Schreibzugriffe mit niedriger Latenz neben dem klassischen Objektgeschäft. Atomare Operationen für das Überschreiben und Ersetzen von Keys verbessern die Konsistenz bei nebenläufigen Anwendungen.

Sicherheit, Replikation und Betrieb

Im gesicherten Modus authentifiziert Ozone über Kerberos. Native ACLs regeln den Zugriff auf Volumes, Buckets und Keys, die Anbindung an Apache Ranger zentralisiert die Vergabe der Berechtigungen über mehrere Dienste hinweg. Transparent Data Encryption (TDE) verschlüsselt die Daten im Ruhezustand, eine Transportverschlüsselung sichert die Übertragung zwischen den Knoten.

Den Grad der Redundanz legt ein Replikationsfaktor fest. In der Standardkonfiguration eines Test-Clusters steht der Faktor auf 1, über die Umgebungsvariable „OZONE_REPLICATION_FACTOR“ lässt sich der Wert anheben. Für den Einstieg liefert das Projekt eine Docker-Compose-Konfiguration, die einen kompletten Cluster startet. Vorbereitete Kubernetes-Ressourcen decken den Betrieb in orchestrierten Umgebungen ab, der Build aus dem Quellcode gelingt über Apache Maven.

Fazit

Ozone verbindet die S3-API mit dem Hadoop File System und löst die Metadaten-Begrenzung des HDFS-NameNode durch eine getrennte, RocksDB-gestützte Verwaltung. Mit der HBase-Anbindung und atomaren Key-Operationen seit Version 2.0.0 deckt der Speicher analytische Workloads und latenzkritische Zugriffe aus einer Plattform ab. Die aktuelle Version 2.1.0 setzt diese Ausrichtung fort und bindet Kerberos, Ranger und Verschlüsselung im Ruhezustand und auf der Leitung ein.

Aktuelles E-Book

Open-Source-Storage – Speicher-Software zum Nulltarif

Der Bedarf an Speicherkapazität steigt von Tag zu Tag – nicht nur, um die Daten von Produkten, Kunden und Transaktionen zu sichern, sondern auch, um Compliance-Anforderungen zu erfüllen und Auditierungen gut zu überstehen. Eine leistungsfähige Storage-Lösung ist also gefragt. Eine kostenlose Option bietet Open-Source-Software für Storage, insbesondere dann, wenn man sie selbst den eigenen Anforderungen anpassen darf.

Die Themen im Überblick:

• Warum Storage als Open Source?
• NAS & Objektspeicher
• Backup & Disaster Recovery
• Dateisysteme
• Technologiestapel & Ökosysteme

E-Book „Open-Source-Storage“ kostenlos downloaden

(ID:50879031)