Auristor und Nexustorage Neue Filesysteme für das Datenzeitalter

Datenmassen und die Cloud legen es nahe, sich bei Filesystemen etwas Neues auszudenken. Einige Firmen wagen sich an diese Aufgabe heran. Zwei Beispiele: Auristor und Nexustorage. Beide versuchen auf unterschiedliche Weise, den Datenwust zu bewältigen.

Anbieter zum Thema

DataCore Software GmbH

Impossible Cloud GmbH

Es ist müßig, wieder einmal die Datenzuwachsprognosen aus einer aktuellen Studie nachzubeten. Denn der Berg wächst weiter, ob nun ein Zettabyte mehr oder weniger. Die Daten verteilen sich inzwischen auf unterschiedliche Tiers im eigenen Datacenter und in der Cloud. In Zukunft wird wohl auch noch das Edge hinzukommen.

Auch die Datentypen haben sich bekanntlich verändert: Statt strukturierten Datenbanken dominieren nun unstrukturierte Daten. Von normalen Textfiles bis hin zu großen Datenobjekten, etwa Zeitreihen, Fotos, Röntgen- oder Wärmebildern, Videos oder Audios.

Auristor setzt auf OpenAFS

Zwei Beispiele zeigen, wie unterschiedliche Akteure jeweils Lösungen entwickeln, die spezifische Aspekte des Problems ins Auge fassen. Das erste Beispiel ist Auristor. Früher hieß die Firma Your File System. Sie existiert rund fünfzehn Jahre und hat ihr Hauptquartier in New York.

Auristor bietet seine Lösung AuristorFS für Linux (unter anderem Out-of-the-Box-Clients für Feodora, Debian und Ubuntu), MacOS und Windows ab Version 10 an. Technologische Basis ist das Andrews File System (AFS). AFS ist ein Netzwerkprotokoll für Netzwerkdateisysteme. AuristorFS baut auf OpenAFS auf. OpenAFS wird von einer Entwickler-Community ständig weiterentwickelt. AFS-Lösungen sind zum Beispiel im Universitätsumfeld verbreitet.

AFS wurde an der Carnegie-Mellon-Universität entwickelt, dann von IBM übernommen und im Jahr 2000 der Open-Source-Community übergeben. Es existieren diverse Implementierungen. Die besonderen Stärken von AFS: Sekundär-Storage lässt sich für Anwender transparent horizontal skalieren, und Clients können Daten cachen, wobei die Cachekonsistenz gewährleistet ist.

Der Mittelstand kommt an SDS nicht vorbei

Erst Software macht Storage geschmeidig

Zellverbund

AFS gliedert seinen Einzugsbereich in Zellen mit jeweils ihnen angehörigen Dateiservern und Datenbankservern, die je eine IP-Adresse haben. Server enthalten Partitionen mit Instanzen und Volumes und müssen in ein OpenAFS-Verzeichnis geschrieben werden. Die maximale Filegröße beträgt 4 GiB (Gibibyte). Clients werden den AFS-Zellen locker zugeordnet, nicht fest angebunden.

AuristorFS wurde in Hinblick auf Multiuser-Fähigkeit, hohe Sicherheit, leichte Bedienung und Leistungsfähigkeit entwickelt. Zu den Sicherheitsfunktionen gehören die Multifaktor-Authentisierung, Regeln für Volumes und Fileserver, Datenschutz für alle Services, GDPR-Konformität, Transportverschlüsselung mit AES256 und Schutz gegen Datenmanipulationsversuche im Cache. Daten lassen sich global replizieren.

Die Authentisierung erfolgt über Kerberos. Maschinen und User werden authentisiert. Allerdings müssen die Zugangsschlüssel zu den Dateiservern paranoid gesichert werden, da der Zugang zu einem Dateiserver alle eröffnet.

Schneller Datentransport

Das Produkt unterstützt IPv6 und kann mehrere verbundene 10-Gbit/s-Netzwerkkarten nutzen. Die Ressourcen werden servicespezifisch und dynamisch verbunden, was Überlastungsrisiken senkt. Daher ist AuristorFS für Umgebungen mit vielen Daten produzierenden und konsumierenden Workflows geeignet.

Die Lösung lässt sich als Docker-Container bereitstellen, wobei Server als nicht privilegierte User ohne „Root“-Zugriff laufen. Als Backup-Ziel können alle Posix-Filesysteme oder Object-Stores dienen.

Wichtige Anwendungsfelder sind Software-Verteilung und die Verteilung statischer Web-Contents, persistente Container-Storage oder die Verteilung von Container-Images.

Software-Defined Storage

So baut man moderne Speicherinfrastrukturen

Nexustorage: automatisches Datenmanagement

Anders als Auristor hat sich Nexustorage für einen kompletten Neuanfang entschieden. Die neuseeländische Firma mit Hauptniederlassung nahe Wellington wurde erst 2021 von Glen Olsen gegründet und hat derzeit weder Umsätze noch Venture-Capital-Runden aufzuweisen, sondern ist rein privat finanziert.

Nexustorage möchte Block- und File-Storage nahtlos mit Objekt- und Cloud-Storage verbinden. Das erste Produkt, dessen Preview im Mai 2021 präsentiert wurde, ist Software-Defined Storage und heißt Nexfs. Noch im Herbst soll eine Community-Ausgabe der Software folgen.

Das POSIX-konforme Nexfs soll das Datenlebenszyklusmanagement automatisieren. Dabei sieht der Anwender einen intelligenten Pool integrierter Speicherschichten aus Block-, File- und Objekt-/Cloud-Storage. Das vermeidet die Nachteile der jeweiligen Datenwelten, kombiniert aber ihre Vorteile.

Bisherige Lösungen, so argumentiert Nexustorage, hätten die Storage-Welten nur mangelhaft verbunden. Das führe zu falsch konzipierten Lösungen, hohen Kosten, Komplexität und Risiken. Im Grunde seien viele Lösungen für File-Staging oder Caching nur veraltete Formen der Objektarchivierung, argumentiert der Hersteller.

Nexfs platziert Daten in Chunks

Im Nexfs-Storage-Pool können Daten bei Bedarf nahtlos verschoben werden. Bei der Speicherung in Nexfs werden sie in einzelne Teile (Chunks) gehackt, die dann auch auf unterschiedliche Speicherschichten wandern können.

Wie das geschieht, bestimmt ein neuartiger Mechanismus für die Datenplatzierung. Nexassert befindet sich in der Patentierung. Das Verfahren soll Indexe, relationale Datenbanken, No-SQL-Datenbanken, Archivierungs-Software sowie Stubs und Links weitgehend überflüssig machen. Das wiederum reduziere Risiken und Latenz, so Nexustore. Wie die Software arbeitet, darüber schweigt das Start-up aus naheliegenden Gründen vorläufig.

Weitere Vorteile von Nexassert sind laut Nexustorage: geringerer Bedarf an Primär- und Sekundär-Storage, weniger Netztransport in Richtung Cloud-/Object-Storage, weniger Latenz beim Lesen dieser Storage sowie weniger Storage-Transaktionen und damit Kosten. Denn nur die Teile eines Files werden übertragen, die Nexassert Tier 3 (Object-Storage/Cloud) zuordnet. Und dies selbst dann, wenn der gesamte File neu in Nexfs geschrieben wird.

SmartProtect, SmartTier und SmartProtect

Dazu kommen drei andere produktspezifische Mechanismen: SmartProtect, SmartTier und SmartClone. SmartProtect fertigt automatisch Kopien von Primärdaten an, die auf sich selbst schützender Cloud- und Objekt-Storage gespeichert werden. Die POSIX-konforme File-Index-Information von Nexfs wird auf lokale Block- sowie Cloud- oder Objekt-Storage repliziert. Fällt die Primär-Storage aus, sei daher keine Wiederherstellung nötig.

Zudem wird durch das intelligente Tiering (SmartTier) ständig Primär-Storage freigeschaufelt, indem Daten von der Primär-Storage auf nachgelagerte Schichten wandern. Der SmartTier-Mechanismus wird durch das Schließen von Files, durch die Veränderung von File-Chunks oder periodisch bei offenen Files ausgelöst. Das bedeutet für die einzelnen Daten-Chunks eine nahezu synchrone Replizierung.

Mit SmartClone kann man Gold-Images von Files auf Tier-3-Cloud- oder Objekt-Storage halten und von diesen sofort Child-Klone ziehen. Child-Chunks mit Veränderungen können auf nur einem spezifischen Client gehalten werden, während größere Veränderungen an Child-Klones sich ihrerseits wieder auf Tier-3-Storage verschieben lassen. Später können veränderte Teile vergessen, für die Lebensdauer des Klons aufbewahrt oder in das Gold-Image integriert werden, so dass eine neue Gold-Datei entsteht.

Aktuelles eBook

Storage-Management

Teil 1: Immer den Überblick behalten

Ab einer gewissen Größe ist für Unternehmen das Storage-Management unerlässlich. Es optimiert durch geeignete Strategien und technische sowie organisatorische Maßnahmen die Effizienz und Leistungsfähigkeit der heterogenen Speicherlandschaft.

Dieses eBook behandelt unter anderem die folgenden Themen:

• Was ist Storage-Management?
• Nahe Verwandte des Speichermanagements
• Der Status quo der Storage-Systeme

eBook „Storage-Management“ kostenlos downloaden

(ID:47762757)