Suchen

OpenIO Object Storage mit Open Source Lokalen Speicher mit Amazon S3 verbinden

| Autor / Redakteur: Thomas Joos / Dr. Jürgen Ehneß

OpenIO gehört zu den bekanntesten Storage-Lösungen im Unternehmen, um Object Storage lokal zu betreiben, inklusive der Möglichkeit zur Verbindung mit Amazon S3. Der Speicher steht auch als Open Source zur Verfügung.

Firma zum Thema

Objektspeicher bieten klare Vorteile – und lassen sich über OpenIO realisieren.
Objektspeicher bieten klare Vorteile – und lassen sich über OpenIO realisieren.
(Bild: © Nmedia - stock.adobe.com)

Object Storage ist vor allem in großen Netzwerken immer mehr im Trend. Große Datenmengen lassen sich effektiver speichern, und die Speicherinfrastruktur in lokalen Netzwerken wird optimiert, bei gleichzeitig verbesserter Skalierung. Wer Big-Data- oder KI-Lösungen betreibt, muss große Datenmengen speichern, die auf Basis von Object Storage häufig wesentlich besser skalierbar sind.

OpenIO kann in Hadoop und Spark integriert werden. OpenIO ist darüber hinaus kompatibel mit Amazon S3. Zusätzlich ist OpenIO kompatibel mit OpenStack Swift und Anwendungen, die dieses Protokoll für den Datenzugriff verwenden.

APIs und Netzwerkzugriff mit OpenIO

Die Verwaltung von OpenIO wird über eine Kommandozeilenschnittstelle (CLI) oder eine Web-Oberfläche durchgeführt. Die grafische Oberfläche ist vor allem für die Cluster-Visualisierung, die Überwachung und routinemäßige Wartungsarbeiten geeignet. Die Bereitstellung kann auch automatisiert über Ansible erfolgen.

Mit einer nativen REST/HTTP-API zur Nutzung aller Merkmale von OpenIO können externe Anwendungen die erweiterten Speicherfunktionen und eine tiefe Integration in das System nutzen. Zusätzlich gibt es noch APIs für Python, C/C++ und Java. Entwickler können diese zur Integration ihrer Lösungen in OpenIO verwenden. Dateizugriffe können über den OIO-FS-Konnektor erfolgen. Basierend auf der FUSE-Technologie, stellt er den Benutzern ein POSIX-Dateisystem zur Verfügung. Der Zugriff kann lokal oder über ein Netzwerk mit NFS oder SMB erfolgen.

Object Storage mit OpenIO 19.10

OpenIO bietet mit seiner neuen Version 19.10 nochmal gesteigerte Leistung. Bei Leistungstests schneidet die Storage-Lösung auch mit der neuen Version sehr gut ab. Bei der Tbps-Challenge im September 2019 hat OpenIO 1,372 Tbps auf einem Cluster mit 350 physischen Rechnern erreicht.

OpenIO nutzt in der neuen Version einen neuen Lastausgleichsmechanismus, der auf intelligenten Umleitungen zwischen den Knoten basiert. Der Mechanismus sendet dazu Anfragen zu einem bestimmten Zeitpunkt an die am meisten verfügbaren Server. Wenn der primäre Knoten nicht verfügbar ist oder wenn ein anderer Knoten in der Lage ist, die Aufgabe schneller auszuführen, wird die Umleitung aktiv gestartet.

Dadurch kann ein OpenIO-Cluster die Last auf alle Computer in einem Cluster umverteilen, um die Leistung zu optimieren. Dieses System wurde bereits bei der Tbps-Challenge eingesetzt und ist in Version 19.10 erhältlich.

Die Datenrekonstruktion bei dem Verlust einer Platte oder eines Servers und die damit notwendige Datenverlagerung wurden in der Version 19.10 überarbeitet. Die Operationen können über die Web-Oberfläche durchgeführt werden. Der Vorgang ist ab Version 19.10 auf Cluster-Ebene parallelisiert. Dadurch werden diese Vorgänge schneller abgewickelt.

OpenIO kostenlos nutzen oder lizenzieren

OpenIO wird mit unterschiedlichen Lizenzen angeboten. OpenIO wird unter einer LGPL/AGPL-Open-Source-Lizenz bereitgestellt. Der Quellcode ist auf GitHub verfügbar, die Binärdateien stehen zum kostenlosen Download zur Verfügung.

Wer Support und zusätzliche Funktionen benötigt, kann OpenIO über ein jährliches Abonnement buchen. OpenIO steht in den Editionen Standard, Standard 24/7 und Premium zur Verfügung. Die Editionen Standard und Standard 24/7 unterscheiden sich nur im Support. Die Premium-Edition bietet den direkten Zugriff auf den Level-3-Support und erweiterte Überwachungsmöglichkeiten.

Datenverwaltung mit OpenIO

OpenIO unterstützt den Betrieb unterschiedlicher Speichermedien und von deren Gruppierung. Es lassen sich also HDD, SSD/NVMe gemeinsam betreiben. Dabei kann OpenIO so konfiguriert werden, dass bestimmte Daten oder Objekte von anderen isoliert werden. Daten können mit herkömmlichen Operationen oder durch automatisierte Aufgaben von einem Pool in einen anderen verschoben werden. Ein automatisches Tiering ist mit OpenIO also problemlos möglich.

In diesem Zusammenhang können über Regeln für das Lebenszyklusmanagement automatisch zwischen verschiedene Speicherpools verschoben werden. Das vereinfacht die Datenbewegungen im System und stellt sicher, dass Ressourcen schneller für neue Daten zur Verfügung stehen.

Daten können in OpenIO synchron oder asynchron komprimiert werden. Mit zeitbasierten Richtlinien lassen sich Daten, die seit einiger Zeit nicht mehr gelesen wurden, automatisch komprimieren. Außerdem unterstützt OpenIO das S3-Objekt-Lebenszyklusmanagement. Benutzer können dadurch zeitbasierte Regeln erstellen und entsprechende Aktionen automatisch auslösen lassen. Regeln lassen sich so einstellen, dass Daten nach Alter, Änderungsdatum und anderen Merkmalen verschoben, komprimiert und gelöscht werden.

Container-Snapshots ermöglichen in OpenIO das Erstellen von Kopien ganzer Container für die Sicherung. Auch die Erstellung von Datensätzen für große Datenanalysen oder Testanwendungen ist über diesen Weg möglich. Write Once Read Many (WORM) kann für Container aktiviert werden. Das deaktiviert die Möglichkeit, Objekte zu ändern oder zu löschen. Daten werden dadurch vor dem Löschen geschützt.

Sichere und stabile Datenspeicherung mit OpenIO

OpenIO ermöglicht das Speichern mehrerer Objektreplikate. Hier wird auch die richtlinienbasierte, synchrone und asynchrone Datenreplikation unterstützt. Cluster lassen sich auch über große Entfernungen strecken, auch über mehrere Rechenzentren. Dabei werden auch hohe Latenzzeiten und niedrige Bandbreiten unterstützt. Durch dynamische Speicherrichtlinien wird automatisch der am besten geeignete Datenschutz aktiviert. Alle Daten können in OpenIO verschlüsselt werden. Wird ein Objekt geschrieben oder gelesen, prüft OpenIO seine Integrität. Dadurch ist sichergestellt, dass die Daten auch dauerhaft unbeschädigt sind. Das Warn- und Überwachungssystem in OpenIO nutzt Prometheus- und Grafana-Komponenten. Durch die Prometheus-API ist die Überwachung auch erweiterbar.

(ID:46338061)

Über den Autor

 Thomas Joos

Thomas Joos

Freiberuflicher Autor und Journalist