Speichertipp: Verteilte Dateispeicherung ohne Single Point of Failure MooseFS als skalierbares Petabyte-Dateisystem für POSIX-Umgebungen

Anbieter zum Thema

FAST LTA GmbH

Impossible Cloud GmbH

MooseFS konsolidiert verteilt gespeicherte Daten zu einem logisch einheitlichen Dateisystem, das sich nativ in POSIX-Umgebungen einfügt und dabei auf einfache Handhabung, hohe Ausfallsicherheit und flexible Skalierbarkeit setzt. Entwickelt für Umgebungen mit wachsendem Speicherbedarf, erlaubt die Architektur den Betrieb auf Standardhardware und minimiert zugleich Verwaltungsaufwand und technische Komplexität.

MooseFS fasst verteilte Speicherressourcen zu einem konsistenten POSIX-Dateisystem zusammen, das sich wie ein klassisches UNIX-Filesystem verhält, jedoch Petabyte-Datenmengen auf Commodity-Hardware verteilt. Die Architektur trennt Metadatenhaltung, Chunk-Speicherung und Client-Zugriff, ermöglicht parallele Dateioperationen über viele Knoten hinweg und unterstützt vollständige Redundanz auf allen Ebenen. Nutzer sehen ein einheitliches Volume, obwohl sich die physische Datenhaltung auf beliebig viele Server verteilt.

Der Zugriff erfolgt über eine klassische Verzeichnisstruktur mit Unix-typischen Dateiattributen, inklusive Unterstützung für ACLs, Dateisperren, Symbolic und Hard Links sowie Spezialdateien wie Sockets oder Geräte. Besonderheiten sind die granulare Kontrolle über die Replikationsfaktoren pro Datei sowie die Fähigkeit, kapazitive Erweiterungen oder Wiederherstellungen im laufenden Betrieb durchzuführen. Alte Hardware lässt sich entfernen, neue nahtlos einbinden. Auch Snapshots während des Schreibvorgangs und ein konfigurierbarer Dateipapierkorb auf Dateisystemebene gehören zum Funktionsumfang. Zugriffssteuerung auf Basis von IP- oder Passwortregeln sowie tierbasierte Storage-Policies runden das System ab.

Systemaufbau mit Master, Chunkservern und Client

Im Zentrum steht der MooseFS Master Server, zuständig für Metadatenverwaltung und globale Koordination. Zur Inbetriebnahme genügen eine einfache Konfiguration im Verzeichnis „/etc/mfs“ und ein initiales Anlegen der Metadaten im Zielverzeichnis „/var/lib/mfs“. Der Server wird per „mfsmaster start“ aktiviert. Um Namensauflösung sicherzustellen, empfiehlt sich ein entsprechender DNS-Eintrag oder die manuelle Pflege der „/etc/hosts“ auf allen beteiligten Systemen.

Die Chunkserver speichern die eigentlichen Dateidaten und werden durch Einträge im „mfshdd.cfg“-File auf konkrete Mountpoints verwiesen. XFS als lokales Dateisystem ist empfohlen. Ein typisches Set-up verwendet mehrere Chunkserver, deren Speicherverzeichnisse dem Benutzer „mfs“ gehören müssen. Auch hier genügt ein Start per „mfschunkserver start“.

Der Zugriff auf MooseFS erfolgt clientseitig über das FUSE-Modul. Ein Mountpoint wie „/mnt/mfs“ lässt sich entweder manuell oder automatisiert per „/etc/fstab“-Eintrag einhängen. Für Systeme mit inkompatibler Mount-Syntax steht „mfsmount“ als Alternative bereit.

Erweiterte Verwaltung, Monitoring und Failover

Ergänzend zur Basiskonfiguration bietet MooseFS eine Weboberfläche über das CGI-Modul „moosefs-cgiserv“, erreichbar auf Port 9425 des Master-Servers. Zusätzlich empfiehlt sich der Einsatz mindestens eines Metaloggers auf einem separaten Host. Dieser synchronisiert fortlaufend die Metadaten und schützt vor Verlusten bei Ausfall des Masters. Auch der CLI-Zugriff ist möglich. Die Installation aller Komponenten lässt sich über gängige Paketquellen automatisieren. Unterstützt werden Debian-, Ubuntu-, RHEL-basierte Distributionen, FreeBSD, macOS und Windows (via Dokany).

Der Quellcode steht auf GitHub bereit. Für den Eigenbau unter Linux, FreeBSD oder macOS stehen Build-Skripte zur Verfügung; vorausgesetzt sind passende Toolchains und Bibliotheken. Bei Build-from-Source auf Debian etwa werden „build-essential“, „libpcap-dev“, „zlib1g-dev“ und „libfuse3-dev“ benötigt.

Aktuelles eBook

Storage-Software als Effizienzbooster

Mit der geeigneten Storage-Software kann sich ein Unternehmen einen Effizienzbooster ins Haus holen oder in der Cloud abonnieren. Dieser Booster steigert nicht nur die Performance der geschäftskritischen Anwendungen, sondern optimiert auch die Kosten der bereits installierten Speichersysteme.

Die Themen im Überblick:

• Herausforderungen eines modernen Speichersystems
• Methoden und Technologien effizienter Speichersysteme
• Effizienter Speicher mit Pure Storage, AWS, Cohesity und Dell

eBook „Storage-Software als Effizienzbooster“ kostenlos downloaden

(ID:50507809)