Womit sich Startups heute beschäftigen, Teil 3

Objektspeicher auf Open-Source-Basis

| Autor / Redakteur: Tina Billo / Rainer Graefen

OpenIO und minio.io sind zwei von 16 Startups, die sich dem Thema Objektspeicher auf Open-Source-Basis verschrieben haben.
OpenIO und minio.io sind zwei von 16 Startups, die sich dem Thema Objektspeicher auf Open-Source-Basis verschrieben haben. (Bild: OpenIO)

Objektspeicher sind dafür bekannt, mit großen Mengen an unstrukturierten Daten zurechtzukommen. Und davon gibt es viele – 88 Prozent soll ihr Anteil derzeit ausmachen, von einer jährlichen Wachstumsrate in Höhe von 62 Prozent ist die Rede. Vor diesem Hintergrund überrascht es nicht, dass sich eine große Zahl an Startups formiert, die mit neuen Objektspeicherideen antreten. Einige von ihnen setzen dabei auf Open Source.

Ob Fotos, Videos, Dokumente oder von Maschinen erzeugte Daten: die Flut an Informationen, die inzwischen gespeichert und verwaltet werden müssen, nimmt nicht ab. Vielmehr ist das Gegenteil der Fall, denn durch die Nutzung sozialer Medien, mobiler Anwendungen und der Cloud, dem rapiden Anstieg vernetzter Geräte und dem Internet der Dinge, schießt die Menge an unstrukturierten Daten ungebrochen in die Höhe.

Dass klassische Speicherinfrastrukturen dieser Entwicklung sowohl von der Kapazität als auch ihren Funktionalitäten nicht gewachsen sind, ist kein Geheimnis. Ebenso wenig, dass sie oftmals mit einer hohen Komplexität behaftet sind und ihre Verwaltung zeit- und ressourcenaufwändig ist.

Objektspeicher heben diese Schwächen auf. Sie sind auf die neuen Content-Typen auslegt, lassen sich praktisch unbegrenzt skalieren lassen, verkraften Petabytes an Daten und bieten für den direkten Speicherzugriff eine REST-Schnittstelle. Über 45 verschiedene Produkte finden sich bereits am Markt und die Zahl nimmt weiter zu. Im Trend liegen dabei Open-Source-Systeme, von denen es bereits 16 geben soll. Hierzu zählen auch die von den Startups OpenIO und minio.io entwickelten Lösungen.

OpenIO: Hochskalierbarer, einfach erweiterbarer Objektspeicher

„Enorme Mengen relativ kleiner Dateien wie E-Mails speichern zu können, die letztendlich viel Storage-Kapazität belegen, auf die jedoch mit der niedrigsten Latenzzeit zugegriffen werden muss“, dies war die Gründungsidee von OpenIO. Hierfür konzipierte das 2015 gegründete Unternehmen mit Hauptsitz im französischen Lilles eine rein Software-definierte Open-Source-Objektspeicherlösung, mit der sich die Kapazität von Speicherumgebungen bis hin zu Exabytes skalieren lassen soll.

Die Software ist hardware-agnostisch und kann daher mit beliebigen Systemen gleichwelchen Herstellers eingesetzt werden – angefangen von einfachen x86-Hosts bis hin zu NAS- und SAN-Arrays. Um eine ausreichende Zahl an Ressourcen in einer Shared-Nothing-Architektur bereitzustellen, empfiehlt OpenIO als Minimalkonfiguration für einen Cluster den Einsatz von drei Knoten. Das Grid-Netz lässt sich jederzeit und gleichzeitig um eine, zehn oder auch mehr Komponenten erweitern, die automatisch erkannt und direkt zur Verfügung stehen – insgesamt sollen sich laut Hersteller tausende an Nodes verwalten lassen.

Im Gegensatz zu vergleichbaren Lösungen – hier sieht OpenIO Ceph und Scality Ring als Hauptmitbewerber an – findet dabei keine Wiederverteilung der Daten über die Knoten hinweg statt, auch entfallen konstante Hash-Berechnungen. Anstelle dessen setzt der Hersteller auf einen automatischen Lastausgleich in Echtzeit.

Container-basierte Datenverwaltung und Unterstützung nativer APIs

Bei der Datenverwaltung setzt OpenIO auf ein verteiltes Verzeichnis mit einer baumartigen Struktur und einem indirekten Tabellensystem. Die Daten werden hierarchisch abgelegt (Namespace, Account, Container, Objekt). Verweise referenzieren darauf, in welchem Container diese gespeichert sind und wo sich dieser genau befindet. Darüber hinaus berechnet das System, basierend auf Kapazitäts-, I/O-Leistung und CPU-Metriken, auf welchem Node die Objekte am besten aufgehoben sind.

Bei OpenIO werden die Daten hierarchisch abgelegt. Ein Verzeichnis mit Referenzhinweisen ermöglicht deren leichte Auffindung.
Bei OpenIO werden die Daten hierarchisch abgelegt. Ein Verzeichnis mit Referenzhinweisen ermöglicht deren leichte Auffindung. (Bild: OpenIO)

Interoperabilität ist ein weiteres Thema, bei dem sich OpenIO anderen Anbietern überlegen sieht. Amazon S3 oder OpenStack SWIFT-Speicher lassen sich über REST-APIs anbinden, für C, Python, Java und Go sind optimierte native APIs Teil der Lösung. Ebenso stehen zahlreiche Konnektoren unter anderem für NFS, E-Mail-Anwendungen wie Cyrus 3.0, Zimbra, Mail Object oder Dovebot sowie Video-Broadcast-Lösungen zur Verfügung.

Philosophie des Minimalismus

3,3 Millionen sammelte minio.io im Sommer 2015 in der ersten Seed-Finanzierungsrunde von Investoren ein. Das vor zwei Jahren gegründete Startup will „Storage demokratisieren“ und Unternehmen eine Lösung an die Hand geben, mit denen sich skalierbare Objektspeicher in privaten Clouds aufbauen lassen. Die Idee ist eine mit Amazon S3 kompatible Alternative auf Open-Source-Basis anzubieten, die vergleichbare Funktionalitäten aufweist.

„Objektspeicher für jeden“, so die Vision. Dabei will sich das Startup wie der Name minio.io schon andeutet – ein Wortspiel aus Minimalismus und I/O - auf das Wesentliche beschränken. Hier kommt einmal wieder die bekannte 80/20-Regel ins Spiel. Für die Speicherung 80 Prozent aller Daten weltweit reichen aus Sicht von Anand Babu Periasamy, Mitbegründer und CEO von minio.io 20 Prozent der heute verfügbaren Speicherfunktionalitäten aus. Die Konzentration auf entscheidende Features und Einfachheit auf allen Ebenen sieht er damit als entscheidende Merkmale zukunftsweisender skalierbarer und benutzerfreundlicher Objektspeicherlösungen an.

Drei Bausteine

minio.io Cloud Storage eignet sich für die Speicherung von unveränderbaren Daten wie beispielsweise Log-Dateien, Bildern, Videos, VMs oder Containern. Bestandteil der Lösung sind Amazon S3 v4 APIs, so dass sich ebenfalls auf die dort bereitstehenden Cloud-Storage-Dienste zugreifen lässt.

Derzeit richtet sich das Startup mit seinem Angebot in erster Linie an Entwickler von Cloud-Anwendungen. Hierzu zählt der vollständig in Go geschriebenen Minio Server (Minio oder Minio Micro-Server), dessen Quellcode unter der Apache-Lizenz v2.0 frei zur Verfügung gestellt wird. Neben der Open-Source-Variante ist eine „XL“-Version in Planung, die sich bis in den Petabyte-Bereich skalieren und zusätzliche Features wie Erasure Coding und Checksummen-Prüfungen bieten soll.

Mit Minio XL bietet minio.io eine Lösung an, die für den Einsatz in Speicherumgebungen mit Kapazitäten im Petabyte-Bereich geeignet ist.
Mit Minio XL bietet minio.io eine Lösung an, die für den Einsatz in Speicherumgebungen mit Kapazitäten im Petabyte-Bereich geeignet ist. (Bild: minio.io)

Weitere Lösungen sind Minio Client, der verschiedene Tools für die Arbeit mit Amazon S3 und verschiedenen Dateisystemen umfasst sowie die Minio Client Software Developer Kits (SDK) für JavaScript, Java, Python und Golang.

Ob sich minio.io mit seinem Ansatz, Storage in die Hände von Entwicklern anstelle der IT zu legen, gegen ähnliche Open Source Storage-Projekte wie beispielsweise Swift und Ceph durchsetzen kann, wird sich zeigen.

Dies gilt aber generell für Startups - gleichermaßen für diejenigen unter ihnen, die im bereits recht lebhaften Segment softwaredefinierter Scale-out NAS-Speicher Fuß fassen wollen. Zwei von ihnen stellen wir im nächsten Teil unserer Startup-Serie näher vor.

Kommentare werden geladen....

Was meinen Sie zu diesem Thema?

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 44178126 / RZ-Technik)