Panasas Scale-out NAS, Teil 4

Wie die Verwaltungsdienste eines Activestor-Systems den unterbrechungsfreien Betrieb sicherstellen

| Autor / Redakteur: Walter Schadhauser / Rainer Graefen

Die Multiprotokollfähigkeiten des Activestor erlauben in manchen Konfigurationen sogar den gleichzeitigen Zugriff auf eine Datei über mehrere Speicherprotokolle.
Die Multiprotokollfähigkeiten des Activestor erlauben in manchen Konfigurationen sogar den gleichzeitigen Zugriff auf eine Datei über mehrere Speicherprotokolle. (Bild: Panasas)

Die Architektur eines Scale-Out Speichersystems hat nicht nur mit Bandbreitenproblemen durch die Vernetzung der Knoten zu kämpfen. Es gibt zahlreiche Stellen an denen der Datenfluss ins Stocken kommen kann, wenn die Parallisierung der Datenverwaltung nicht Schritt hält mit den Zugriffsbedürfnissen von Benutzern und Anwendungen. In unserem vierten und letzten Teil der Artikelserie geht es um die organisatorische Leistung der Speichersystemverwaltung.

Jedes Activestor-System ist ein Cluster aus Speicher- und Director-Knoten. Jeder Knoten im Cluster führt einen gemeinsamen PanFS-Clusterverwaltungsdienst aus, der um zusätzliche Dienste erweitert wurde, die Hardwareüberwachung, Konfigurationsmanagement für diesen Knoten und die Kontrolle der auf diesem Knoten ausgeführten Dienste bieten.

Das globale Verwaltungszentrum

Eine frei definierbare Untergruppe von drei oder mehr dieser Director-Knoten im Realm (Gesamtkonfiguration) wird vom Kunden als Bestandteil des „Repset” ausgewählt, das eine replizierte Kopie der globalen Konfigurationsdatenbank hosten wird. Die Director-Knoten im Repset wählen eines ihrer Mitglieder mit dem Paxos-Algorithmus zum „Realm-Präsidenten”.

Auf dem Präsidenten läuft der Master-Cluster-Verwaltungsdienst für das Realm. Diese Vorgehensweise vermeidet sogenannte „Split-Brain”-Bedingungen, wie sie bei anderen Scale Up-Speicherarchitekturen üblich sind und die die Ursache dafür sind, dass mindestens drei Director-Knoten in einem Realm benötigt werden, um einen normalen Betrieb zu ermöglichen.

Der Realm-Präsident ist für Modifizierungen an der globalen Systemkonfiguration zuständig, erkennt Clusterknoten-Fehler und reagiert mit Maßnahmen darauf und ist verantwortlich für das Handling von Software-Upgrades und Systemneustarts. Außerdem muss er entscheiden, welche Dienste auf welchen Knoten im Realm gestartet werden.

Panasas Panactive Manager

Speicheradministratoren interagieren mit PanFS-Cluster-Management-Services über den Panasas Panactive Manager. Sie ermöglicht den Speicheradministratoren, den Cluster aus Activestor-Gehäusen, unabhängig von dessen Dimension, als Einzelgerät zu verwalten, indem er eine Verwaltung der zentralen Speicherstelle für den gesamten Namespace bietet.

Der Panactive Manager automatisiert wichtige Workflows, wie etwa die Erkennung neuer Speicher, den Lastausgleich zur Leistungsoptimierung sowie Unternehmens-Datenservices (Enterprise Data Services), wie z. B. Berichte, Speicherauszüge (Snapshots) und Durchsetzung der Benutzerquoten.

Zusätzlich zum Zugriff auf die PanFS-Betriebsumgebung über den Panactive Manager, können Administratoren eine Schnittstelle namens Command-Line-Interface (CLI), eine skriptfähige XML-Schnittstelle und eine standardbasierte SNMP-Schnittstelle nutzen.

Panasas Directflow Parallel Data Access Protocol

Das Directflow-Paralleldatenzugriffsprotokoll (Parallel Data Access Protocol) verhindert die üblichen Protokoll-E/A-Engpässe, da die Client-Systeme direkt und parallel auf alle Speicherknoten im gesamten Activestor Storage Cluster zugreifen können. Das Ergebnis ist eine höhere Leistung als mit Standardprotokollen wie NFS und SMB, während gleichzeitig die Unterstützung für die Cache-Kohärenz zwischen Client-Systemen, die von diesen Protokollen nicht unterstützt werden, hinzugefügt wird.

Der Directflow-Client, der auf einem System läuft, das Zugriff auf die PanFS-Betriebsumgebung haben möchte, ist als Dateisystemmodul implementiert, das im Kernel des clientseitigen Betriebssystems läuft. In den Director- und Speicherknoten befinden sich entsprechende serverseitige Komponenten des Directflow-Protokolls. Das clientseitige Kernel-Modul implementiert eine standardisierte virtuelle Dateisystem-Schnittstelle (VFS). Clients können auf die PanFS-Plattform mittels des standardkonformen POSIX-Dateisystem zugreifen.

Directflow-Clients teilen Dateien in Fragmente. Beim Schreiben von Daten werden diese zunächst gesplittet. Anschließend läuft ein Löschcodierungs-Algorithmus über die Fragmente, um Datensicherheits-Informationen für genau diesen Dateibereich zu erzeugen, wobei die Datensicherheits-Informationen wie zusätzliche Fragmente behandelt werden. Sämtliche Fragmente werden nun mittels Directflow-Protokoll als unabhängige Komponentenobjekte geschrieben, wobei jedes Fragment parallel in einen anderen Speicherknoten geschrieben wird.

Ähnlich lesen Clients Dateien, indem sie die fragmentierten Komponentenobjekte direkt parallel von den Speicherknoten holen, in denen sie abgelegt sind und sie in Rückwärtsrichtung wieder zur gewünschten Datei verknüpfen. Die Durchführung der Löschcodierung im Client beseitigt den Leistungsengpass der speicherseitigen Löschcodierung, der bei herkömmlichen Scale-out-NAS-Lösungen verursacht wird.

NFS- und SMB-Protokolle

Zusätzlich zum nativen Directflow-Zugriff bietet die PanFS-Betriebsumgebung einen skalierbaren Zugriff für Client-Systeme über die Standardprotokolle NFS oder SMB. Indem die PanFS-Plattform als „Gateway“auf Director-Knoten läuft, kann sie in heterogene IT-Umgebungen integriert werden, die aus einer Kombination von Linux-, macOS- und Windows-Clients bestehen.

Der NFS-Dienst ist eine abgestimmte Version des FreeBSD NFS-Standardservers mit Support für das NFSv3-Protokoll. Es gibt zwei Optionen für den SMB-Zugriff auf die PanFS-Umgebung: Unsere ältere SMB-Implementierung, die protokollübergreifende Cache-Kohärenz unterstützt, und unsere neue SMB-Implementierung, die die Performance deutlich erhöht, jedoch noch keine protokollübergreifende Cache-Kohärenz unterstützt.

Die protokollübergreifende Cache-Kohärenz ist wertvoll, wenn man erwartet, dass man sowohl vom NFS als auch vom SMB zeitgleich auf eine Datei zugreifen möchte. Die Vorgängerversion des PanFS SMB-Dienstes läuft auf Director-Knoten sowohl der DB-Klasse als auch der ASD-Klasse und ist von einer gewerblich lizenzierten SMB 2.1-Implementierung abgeleitet, die konform zu den Microsoft SMB-Protokollspezifikationen ist (Panasas ist Microsoft Protocol-Lizenznehmer). Der neue PanFS SMB-Dienst läuft nur auf den leistungsfähigeren Director-Knoten der ASD-Klasse und basiert auf Samba Version 4.6.6.

Mit beiden SMB-Gateway-Lösungen können die Nutzer problemlos Dateien verwalten, die in einer Microsoft Windows- oder macOS-Umgebung erstellt worden sind. Die Nutzerauthentifizierung wird über eine Vielzahl von Optionen verwaltet. Dazu gehören Active Directory und Lightweight Directory Access Protocol (LDAP).

Die PanFS-Plattform bietet Administratoren die Möglichkeit, Windows-Sicherheits-IDs (SIDs) Linux-Benutzer-IDs zuzuordnen, so dass Speicherkontingente gleichzeitig für Windows-, macOS- und Linux-Accounts eines bestimmten Benutzers gelten können.

Metadaten-Architektur

Der Begriff „Metadaten” ist nicht eindeutig und kann unterschiedliche Bedeutungen haben, die abhängig vom Datenlieferanten benutzt werden. Allgemein bezeichnet „Metadaten“ fast alles, was keine Daten sind. In der PanFS-Betriebsumgebung wird Folgendes als Metadaten betrachtet:

  • Der Realm-Präsident behandelt die globale Konfigurationsdatenbank als Metadaten.
  • Director-Knoten behandeln die Verzeichnishierarchie und die Dateinamen-Informationen als Metadaten.
  • Director-Knoten behandeln Dateiattribute, wie z. B. Zugriffskontrolllisten (ACLs), Berechtigungs-Bits, Dateibesitzer usw. als Metadaten.
  • Director-Knoten behandeln die Zuordnung einer Datei (eines virtuellen Objekts) zu einem Satz IDs für die gesplitteten Komponentenobjekte, die die Datei enthalten, als Metadaten.
  • Speicherknoten behandeln die Zuordnung einer Komponentenobjekt-ID zu einem Satz Blockadressen für dieses Komponentenobjekt in diesem Speicherknoten als Metadaten.

Die PanFS-Plattform klassifiziert Metadaten in zwei grundlegende Kategorien: auf Dateiebene und auf Blockebene. Metadaten auf Dateiebene werden von Directors bearbeitet, jedoch in Speicherknoten gespeichert. Metadaten auf Blockebene werden nur innerhalb von Speicherknoten verwendete und werden auch nur dort angezeigt.

1. Metadaten auf Dateiebene

Die PanFS-Betriebsumgebung verwaltet mehrere verschiedene Arten von Metadaten über Dateien, einschließlich der typischen, für den Benutzer sichtbaren Informationen, wie z. B. die Angabe des Dateibesitzers, der Größe und des Änderungsdatums. Außerdem verwaltet sie eine dateibezogene Zuordnung des virtuellen Objekts jeder Datei zum Satz der Komponentenobjekt-IDs, die zeigt, welche Komponentenobjekte die gesplitteten Teile einer jeden Datei speichern und wie das Striping der Daten über diese Objekte hinweg erfolgt.

Die Panasas-Lösung speichert diese Datei-Metadaten als im Wesentlichen „erweiterte Attribute“ verbunden mit drei Komponentenobjekten dieser Datei. Diese Komponentenobjekte sind spezielle „ Attributspeicherkomponenten“. Die restlichen Komponentenobjekte verfügen nur über Basisattribute, wie etwa individuelle Objektlänge oder Modifikationszeiten.

2. Metadaten auf Blockebene

Die Software in einem Speicherknoten (OSDFS) verwaltet Metadaten auf Blockebene nach dem Schema „verzögerte Zuweisung“, in dem Daten, Blockzeiger und Objektdeskriptoren in große Schreiboperationen im DRAM gesammelt werden, bevor diese an SSD und Festplatten gesendet werden. Der OSDFS-Schreibpuffer im DRAM werden durch eine in die Activestor-Plattform integrierten unterbrechungsfreie Stromversorgung (USV) geschützt.

Die OSDFS ist recht charakteristisch für moderne „lokale“ Dateisysteme. Sie protokolliert mithilfe eines herkömmlichen direkten/indirekten/doppelt indirekten Schemas, wo die Bytes für jedes Komponentenobjekt auf den Festplatten gespeichert sind. Eine proprietäre Bitmap-ähnliche Datenstruktur, die für die Copy-on-Write-Referenzzählung optimiert wurde, erkennt freien Speicherplatz. Die Copy-on-Write-Unterstützung ist integrierter Bestandteil der platzsparenden PanFS-Snapshot-Methode.

Auch Metadaten müssen skalierfähig sein

In herkömmlichen NAS-Systemen beansprucht die Verwaltung von Metadaten auf Blockebene oftmals einen großen Teil der zur Verfügung stehenden Prozessorleistung. Durch das Delegieren der Laufwerksverwaltung auf unterster Ebene an die Speicherknoten haben PanFS-Director-Knoten deutlich weniger Arbeit zu verrichten als gleichwertige SAN- oder NAS-Dateisystem-Manager, die sämtliche Blöcke zusätzlich zu sämtlichen Dateien im Dateisystem überwachen müssen.

Für den Speicheradministrator wird es schlussendlich sehr einfach Datenträger innerhalb des globalen Namespaces von PanFS zu erstellen. Die Datenträger sind in der bekannten Form von Hierarchien, bestehend aus Verzeichnissen und Dateien organisiert, und sie beanspruchen den gemeinsamen in der PanFS-Betriebsumgebung vorhandenen Pool an Speicherkapazität, unterteilen jedoch den gesamten Namespace in Bereiche, denen unterschiedliche administrative Regeln zugrunde liegen können.

Wer den administrativen und häufig mit Kostenstellen verbundenen Aufwnad nicht scheut, der kann - spezifisch für jeden Datenträger - benutzerbezogene Speicherkontingente auf der Datenträgerebene zuteilen. Zum Schutz der Benutzerdaten stehen auf jeder Datenträgerebene Snapshots zur Verfügung.

Da sich die Anzahl der Director-Knoten mit dem Skalieren des Systems erhöht, ist es mit diesem Partitionierungsschema möglich, die Leistung des gesamten Metadaten-Dateisystems linear zum Wachstum des gesamten Namespace zu skalieren.

Kommentare werden geladen....

Was meinen Sie zu diesem Thema?

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45283564 / NAS)