Mountpoint for Amazon S3 AWS erweitert S3-Storage um Dateifunktionen

Anbieter zum Thema

Amazon Web Services EMEA SARL,

DataCore Software GmbH

Impossible Cloud GmbH

Mit Mountpoint for Amazon S3 hat AWS eine neue Open-Source-Software für seinen Storage-Dienst S3 vorgestellt. Der in Rust geschriebene, quelloffene Dateisystem-Client für Linux-Plattformen soll S3-Nutzern Dateioperationen für S3-Objekte bereitstellen.

Die Objekt-API von S3, einem verbreiteten Storage-Dienst der Public Cloud von AWS, bietet viele Funktionen an. Und es gibt Open-Source-Konnektoren wie den S3A-Adapter für Apache Hadoop sowie den Hive-Konnektor für die Trino-Abfrage-Engine.

Bildergalerie

Doch es bestehen nach Angaben der AWS-Blog-Autoren Andy Warfield und Devabrat Kumar Software-Projekte, wie etwa in der Genomik oder im Machine Learning, die mit dieser API nichts anfangen können, sondern auf das Dateisystem der jeweiligen Linux-Distribution angewiesen sind. Mit Mountpoint for Amazon S3 soll offenbar diese Lücke geschlossen werden. Allerdings dürfte es nicht ganz unbekannt sein, dass es bereits seit Jahren ein entsprechendes Open-Source-Tool namens S3FS gibt.

Funktionalität

„Mountpoint for Amazon S3 ist eine Open-Source-Client-Software, die für Linux-Anwendungen den Zugriff auf Amazon-S3-Buckets und -Objekte darin über gängige Linux-File-APIs wie open() und read() erleichtert“, fasst Constantin Gonzalez, Principal Solutions Architect bei AWS, zusammen.

Mountpoint for Amazon S3, so die Blog-Autoren weiter, sei für analytische Anwendungen ausgelegt, die mit großen Datenmengen, wie sie in einem Data Lake zu finden sind, umgehen. Sie lesen und erzeugen große S3-Datenmengen parallel, erfordern aber nicht die Fähigkeit, in die Mitte vorhandener Objekte zu schreiben.

Mit Mountpoint for Amazon S3 lassen sich S3-Buckets oder -Präfixe in den Namespace des jeweiligen Dateisystem einer Instanz abbilden. Ebenso ist das Traversieren der Inhalte der Buckets realisierbar, als wären sie lokal vorliegende Dateien. Schließlich ist ein Zugriff auf Objekte mit hohem Datendurchsatz möglich, ohne sich um Leistungs-Tuning oder Provisionierung sorgen zu müssen. Dateioperationen werden auf GET- und PUT-Operationen gegen S3 abgebildet. Das erlaube es skalierbaren dateibasierten Anwendungen, aggregierte Burst-Datendurchsätze im Bereich von Terabit pro Sekunde ohne die geringste Code-Änderung zu realisieren.

Einschränkungen

Mountpoint sei allerdings kein Allzweck-Filesystem für ein Netzwerk und weise daher ein paar Einschränkungen hinsichtlich Dateioperationen auf. Im ersten Release seien noch keine Schreibvorgänge möglich, und künftig würden nur sequenzielle Schreibvorgänge von neuen Objekten unterstützt.

Wer nach dateibasierten Anwendungen suche, die über Instanzen und User hinweg an geteilten Daten zusammenarbeiteten, dem empfehlen die Autoren vollständig verwaltete File-Services wie etwa Amazon FSx oder Amazon Elastic File System. Amazon FSx für Lustre erlaube es Kunden, ein vollständig POSIX-konformes Dateisystem mit einem S3-Bucket zu verbinden.

Wenn ein Nutzer jedoch eine Data-Lake-Anwendung erstelle, die große Datenobjekte lesen solle, ohne auf Dateisystemfunktionen wie etwa Sperren oder POSIX-Erlaubnisse angewiesen zu sein, oder wenn Objekte sequenziell von einem einzelnen Rechnerknoten geschrieben werden sollten, dann mache Mountpoint den direkten Zugriff auf S3 einfach und effizient.

Verfügbarkeit

Mountpoint for Amazon S3 befinde sich momentan in der Alpha-Phase, also noch nicht einmal in Beta, „und sollte nicht in Produktion genutzt werden“, wie Constantin Gonzalez anmerkt. Der Code sei auf GitHub weltweit kostenlos verfügbar. „Als Open-Source-Software ist Mountpoint for Amazon S3 kostenlos nutzbar, es fallen lediglich die üblichen Kosten für die Nutzung von Amazon S3 an, die hier dokumentiert sind“, fügt Gonzalez hinzu.

Die Autoren bitten um Feedback von den Nutzern und kündigen eine Roadmap an. Im Kapitel mit der Überschrift „Getting started with Mountpoint for Amazon S3“ erläutern die Autoren anhand einer Demo, wie sich Mountpoint for S3 auf Ubuntu-Linux installieren lässt.

Auf GitHub erläutern sie die POSIX-Semantik, die unterstützt wird. „Die Funktionsweise von Amazon S3 als Objekt-Speicher unterscheidet sich grundsätzlich von der Funktionsweise eines traditionellen Linux-Filesystems. Die Art und Weise, wie Mountpoint for Amazon S3 als Schnittstelle dazwischen arbeitet ist, im Detail an dieser Stelle beschrieben“, weist Gonzalez hin. „Kunden, die eine volle Unterstützung des POSIX-Standards für Filesysteme wünschen, sollten stattdessen einen Service wie Amazon FSx for Lustre verwenden, der ebenfalls eine Verknüpfung mit Amazon S3 Buckets ermöglicht.“

Aktuelles eBook

Cloud-Speicher-Strategien im Vergleich

Das eBook bietet einen umfassenden Überblick über die verschiedenen Möglichkeiten für Cloud-Storage und behandelt die folgenden Themen:

• Günstig, schnell und sicher: Storage in der Cloud
• Wozu Cloud-Storage-Plattformen?
• Exklusiver Cloud-Storage vor Ort
• Standardisierter Cloud-Storage von Providern
• Das Beste aus beiden Welten vereinen
• Alternativlos – aber die Qual der Wahl bleibt

eBook „Cloud-Speicher-Strategien im Vergleich“ kostenlos downloaden

(ID:49300927)