Verteiltes, paralleles Dateisystem für Cluster-Computing Was ist Lustre?

Anbieter zum Thema

PoINT Software & Systems GmbH

iTernity GmbH

Scality

Lustre ist ein verteiltes, paralleles Dateisystem für das Cluster-Computing. Es wurde für eine hohe Performance und Skalierbarkeit entwickelt. Das Dateisystem unterstützt verteilte Installationen mit vielen Systemen und riesige Speicherkapazitäten mit mehrere Petabyte Gesamt-Storage. Lustre ist als Open-Source-Lösung frei verfügbar und steht unter GPL-Lizenz. Weltweit wird das Dateisystem für zahlreiche Supercomputer verwendet.

Der Name „Lustre“ setzt sich aus den Wörtern „Linux“ und „Cluster“ zusammen. Es handelt sich um ein verteiltes, paralleles Dateisystem für das Cluster-Computing. Das Dateisystem erschien erstmals im Jahr 2003 und wurde seither kontinuierlich weiterentwickelt. Es ist in C programmiert, steht und Open-Source-Lizenz GPL v2 und ist für das Betriebssystem Linux vorgesehen.

Lustre ist hochperformant. Es bietet eine hohe I/O-Leistung, ist extrem skalierbar und unterstützt verteilte Installationen mit vielen Systemen und riesiger Speicherkapazität mit mehreren Petabyte Gesamt-Storage. Das Dateisystem lässt sich sowohl auf großen als auch kleinen Clustern einsetzen. Weltweit wird es für zahlreiche Supercomputer, in großen Rechenzentren und von Unternehmen verschiedener Branchen verwendet. Zahlreiche Hard- und Software-Unternehmen bieten auf Lustre basierende Produkte und Lösungen an.

Architektur, Komponenten und prinzipielle Funktionsweise des Dateisystems

Die Architektur besteht im Wesentlichen aus diesen Hauptkomponenten:

• Managementserver (MGS),

• Metadatenserver (MDS),

• Object Storage Server (OSS),

• Clients.

Auf dem Managementserver sind die Konfigurationsinformationen eines oder mehrerer Dateisysteme gespeichert. Es handelt sich um eine globale Ressource, die mehrere Dateisysteme unterstützt und Dateisystemkonfigurationslogs in MGTs (Management-Targets) speichert. Der Metadatenserver stellt den Namensraum und den Index für das Dateisystem und die Clients zur Verfügung. Er speichert Metadaten wie Dateinamen, Berechtigungen, Verzeichnisstrukturen, Attribute und andere in MDTs (Metadaten-Targets). Der Object Storage Server verwaltet den Zugriff der Clients auf die Daten. Die eigentlichen Daten sind in Object Storage Targets (OSTs) gespeichert. Eine Datei setzt sich aus einem oder mehreren OST-Objekten zusammen.

Durch Hinzufügen von OSS-Knoten und OSTs sind Performance und Speicherkapazität des Dateisystems skalierbar. Ein Client ist eine physische oder virtuelle Computing-Instanz, die auf das Dateisystem zugreift. Möchte ein Client Daten lesen oder schreiben, wendet er sich zunächst an den MDS. Von diesem erhält er die Verzeichnisinformationen, Dateimetadaten und Informationen, welcher OSS für die angefragte Datei zuständig ist. Er kommuniziert anschließend mit dem jeweiligen OSS und liest oder schreibt die Daten direkt in den OSTs. Durch die parallelen, direkten OST-Interaktionen der Clients erzielt das Dateisystem seine hohe Performance.

Eigenschaften und Merkmale des Dateisystems, kurz zusammengefasst:

• paralleles, für große verteilte Umgebungen geeignetes Dateisystem,

• für Cluster-Computing-Umgebungen und Linux entwickelt,

• hohe Performance und I/O-Leistung,

• extrem skalierbar bis in den Petabyte-Bereich,

• unter Open-Source-Lizenz frei verfügbar.

(ID:49236296)