Mobile-Menu

Speicher-Software für Entwickler Open-Source-Lösungen für Technologiestapel & Ökosysteme

Von Michael Matzer 4 min Lesedauer

Anbieter zum Thema

DataCore Software GmbH
FAST LTA GmbH
Impossible Cloud GmbH

Open-Source-Technologiestapel wie CloudStack und OpenStack enthalten Komponenten, die sich zum Speichern umfangreicher Datenmengen heranziehen lassen. Apache Hadoop inklusive Apache Spark ist indes ein Framework, das verschiedene quelloffene Drittanbieterlösungen enthält, die aber alle von der Apache Foundation betreut werden oder zertifiziert worden sein müssen.

Open-Source-Technologiestapel können zur Speicherung umfangreicher Datenmengen herangezogen werden.(Bild: ©ibreakstock, Getty Images via Canva.com)
Open-Source-Technologiestapel können zur Speicherung umfangreicher Datenmengen herangezogen werden.
(Bild: ©ibreakstock, Getty Images via Canva.com)

Apache CloudStack

Mit der quelloffenen Cloud-Storage-Lösung CloudStack lassen sich eine Reihe von Cloud-Diensten für die Infrastruktur (IaaS) implementieren und verwalten. Sie nutzt Hypervisoren wie KVM, VMware vSphere, ESVi, vCenter sowie XenServer/XCP für die Virtualisierung. Neben der eigenen Programmierschnittstelle unterstützt CloudStack auch die API von AWS und das Open Cloud Computing Interface des Open Grid Forum.

Zu den Hauptfunktionen und -merkmalen gehören Hochverfügbarkeit für Hosts und VMs, die in AJAX geschriebene Web-GUI für die Verwaltung, das Snapshot-Management, die Nutzungsmessung, das Netzwerkmanagement (VLANs), virtuelle Router, Firewalls und Loadbalancer sowie schließlich der Support mehrerer Rollen pro Nutzer. Um CloudStack auf Bare Metal zu installieren, werden RHEL oder CentOS sowie Ubuntu unterstützt. Das Angebot von Stackbill.com beruht fast vollständig auf CloudStack.

OpenStack

OpenStack ist eine freie Cloud-Computing-Plattform mit offenen Standards. Sie wird meist als IaaS in Public und Private Clouds installiert, wo virtuelle Server und andere Ressourcen verfügbar gemacht werden. Die Software besteht aus miteinander verbundenen Komponenten, die verschiedene Hardware-Pools für Rechnen, Speichern und Netzwerk in einem Rechenzentrum steuern. Nutzer können entweder mithilfe eines Web-basierten Dashboards, über eine Befehlseingabe (CLI) oder mithilfe von RESTful-Webservices verwalten.

Object-Storage: Swift

Die Komponente Swift ist ein verteilter, konsistenter Objekt- oder BLOB-Speicher (BLOB: Binary Large Object). Die federführende Firma für die Weiterentwicklung ist SwiftStack. Swift ist mit seiner API und nach dem Scale-Out-Prinzip für die Skalierung ausgelegt und für Verfügbarkeit, Beständigkeit und Gleichzeitigkeit über die gesamte Datenmenge optimiert. Die Skalierung erlaubt die Speicherung unstrukturierter Daten, die in unbegrenzter Menge anfallen.

Block Storage: Cinder

Cinder, der OpenStack-Block-Storage-Service, ist eine Software zur Erstellung und zentralen Verwaltung eines Dienstes, der Benutzern von OpenStack-Nova-Compute-Instanzen Storage-Ressourcen zur Verfügung stellt. Nutzern stehen mehr als 100 Cinder-Blockspeicher-Treiber zur Verfügung, um diverse Backend-Speicher zu realisieren. Das Ceph RADOS Block Device (siehe Ceph) ist wohl der beliebteste Cinder-Treiber im Produktionseinsatz. Die OpenStack-Community stellt den Logical Volume Manager für Linux bereit. Zu den großen Speicheranbietern mit Cinder-Blockspeicher-Treibern gehören Dell EMC, IBM, HPE, Hitachi Data Systems und NetApp.

Aktuelles eBook

Open-Source-Storage – Speicher-Software zum Nulltarif

eBook Open-Source-Storage
eBook „Open-Source-Storage“
(Bild: Storage-Insider)

Der Bedarf an Speicherkapazität steigt von Tag zu Tag – nicht nur, um die Daten von Produkten, Kunden und Transaktionen zu sichern, sondern auch, um Compliance-Anforderungen zu erfüllen und Auditierungen gut zu überstehen. Eine leistungsfähige Storage-Lösung ist also gefragt. Eine kostenlose Option bietet Open-Source-Software für Storage, insbesondere dann, wenn man sie selbst den eigenen Anforderungen anpassen darf.

Die Themen im Überblick:

  • Warum Storage als Open Source?
  • NAS & Objektspeicher
  • Backup & Disaster Recovery
  • Dateisysteme
  • Technologiestapel & Ökosysteme

eBook „Open-Source-Storage“ kostenlos downloaden

Apache Hadoop

Apache Hadoop ist ein freies Framework für die Datenspeicherung, in dem sich zahlreiche, ebenfalls freie Services unterbringen lassen. Darunter ist Apache Ozone ein hoch skalierbarer, verteilter Speicher für Analytik, Big Data und Cloud-native Applikationen. Die Konsistenz der Datenhaltung wird durch Protokolle wie RAFT, S3 und Hadoop File System APIs gewährleistet. Es ist für die Verwaltung von Milliarden von Dateien und Blöcken ausgelegt. Derzeit ist Version 1.3 allgemein verfügbar, künftige Versionen sollen noch höher skalieren.

Hadoop Ozone

Ozone unterstützt S3-kompatible Objekt-APIs wie auch jede Hadoop-kompatible Filesystem-Implementierung. Ozone basiert auf einer Schicht aus hochverfügbarem, repliziertem Blockspeicher namens Hadoop Distributed Data Store (HDDS). Anwendungen, die Frameworks wie Apache Spark, YARN und Hive nutzen, funktionieren damit ohne Anpassung. Ozone ist nach Angaben der Apache-Stiftung dafür ausgelegt, in Container-Umgebungen wie YARN und Kubernetes zu funktionieren. Es bietet einen Loadbalancer für Container.

Im Hinblick auf Datensicherheit, S3-Mandantenfähigkeit und Zugriffskontrolle lässt sich Ozone mit der Kerberos-Infrastruktur integrieren, unterstützt TDE und Verschlüsselung bewegter Daten. Ozone sei ein vollständig repliziertes System, das mehrere Ausfälle überstehen könne. Dazu gehört auch Erasure Coding, mit dem sich Daten wiederherstellen lassen.

Apache Kudu

Kudu ist Speicher für schnelle Analysen schneller Daten. Das ursprünglich von Cloudera kommende Produkt stellt eine Kombination aus schnellem Einfügen und Aktualisierungen in VD mit effizienten Spalten-Scans dar, um mehrere Analyse-Workloads über eine einzige Storage-Schicht hinweg zu ermöglichen.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Kudu ist eine freie, spaltenorientierte Datenablage innerhalb des Hadoop-Ökosystems und daher kompatibel zu den meisten datenverarbeitenden Frameworks in Hadoop. Daher können Apache Spark, Apache Impala (SQL-Abfrage) und MapReduce mit Kudu Daten verarbeiten und analysieren. Zudem lassen sich Kudu-Tabellen mit Daten in HDFS oder HBase verknüpfen. „Kudu füllt die Lücke zwischen HDFS und HBase, die bislang mit komplizierten hybriden Architekturen (wie etwa Lambda in Spark) ausgefüllt werden musste.

Die Anwendungsfälle, die sich zusammen mit den anderen Komponenten im Hadoop-Ökosystem realisieren lassen, sind insbesondere die Verarbeitung von IoT- und Zeitreihendaten, die Auswertung von Maschinendaten (Netzwerksicherheit usw.) sowie Online-Berichtswesen.

(ID:49905147)

Weiterführende Inhalte