Womit sich Startups heute beschäftigen, Teil 9 Mit Erasure Codes strebt Quobyte in ausfallsichere Yotta-Byte-Dimensionen

Anbieter zum Thema

DataCore Software GmbH

FAST LTA GmbH

Quobyte, 2013 gegründet, gehört zu den wenigen deutschen Startups, die sich in den alljährlich veröffentlichten US-Übersichten der am "heißesten gehandelten" Newcomer im Speicherumfeld einen Platz erobern konnten. Nun bringen die Berliner ein aktuelles Release ihres parallelen Dateisystems auf den Markt, das die Grenzen zwischen Scale-out-NAS und primärem und sekundärem HPC-Speicher verschwimmen lassen.

Eine zentrale Neuerung der jetzt von Quobyte veröffentlichten Version 1.3 ist das direkte Erasure Coding. Beim Einsatz in verteilten Dateisystemen wie Quobyte soll das laut Aussage des Herstellers "skalierbare und leistungsstarke" Verfahren dem klassischen RAID überlegen sein und ohne Performance-Einbußen für eine höhere Ausfallsicherheit sorgen.

Des weiteren wurde bei dem aktuellen Release an der Server-Leistung geschraubt, so lassen sich nun gemäß Quobyte Metadaten schneller als zuvor verarbeiten. Auch in puncto Datenmanagement-Funktionalitäten gibt es Verbesserungen. Hierzu zählen schnittstellenübergreifende Access Control Lists (ACLs) für den Zugriff per nativem Client oder NFS, Multimandantenfähigkeit und hierarchische Quotas. Zudem wird neben Linux jetzt auch Windows unterstützt.

Direktes Erasure Coding kodiert Daten beim Schreiben

Kernstück des 1.3-Updates ist das direkte Erasure Coding, das als alternativer E/A-Pfad im Client implementiert ist und Daten unmittelbar beim Schreiben kodiert. Dadurch lassen sich vor allem beim sequentiellen Schreiben von Daten eine hohe Speichereffizienz und Ausfallsicherheit erzielen, ohne dass Abstriche bei der Performance in Kauf genommen werden müssen. Obgleich das Verfahren Last auf dem Server erzeuge, falle diese nicht groß ins Gewicht, erläutert Felix Hupfeld, Mitbegründer und Chief Technology Officer von Quobyte. Dies läge daran, dass moderne CPUs leistungsstark genug sein, um die Auswirkungen abzufedern.

Die Implementierung in Software soll gegenüber dem Prinzip der Hardware-Redundanz folgenden klassischen RAID verschiedene Vorteile bieten, so der Hersteller. Unter anderem arbeite das Verfahren platzsparender und sei daher ökonomischer, steigere die Zuverlässigkeit des Systems und erleichtere dessen Verwaltung. Zusammengenommen soll Quobyte für eine hohe Datensicherheit mit weniger replizierten Servern sorgen und sich sowohl mit primärem als auch sekundärem Storage sowie Archivspeichern nutzen lassen.

Erasure Coding senkt den Speicherplatzbedarf

Das Quobyte-System erstellt für vollständige Fehlertoleranz drei Datenkopien, dementsprechend benötige ein Kunde mit 100 Terabyte an Daten insgesamt 300 Terabyte an Kapazität. Der Speicherbedarf ließe ich durch die Implementierung des direkten Erasure Codings abhängig von dem vom Kunden gewählten Kodierungsverfahren auf 140 oder 150 Terabyte senken. Quobytes standardmäßig unterstütztes 8 + 3-Erasure-Coding, würde es dem System ermöglichen, den Ausfall von drei Speicherlaufwerken zu verkraften.

Die gute Sache beim Erasure Coding sei nicht nur, dass es effizienter sei, sondern auch fehlertoleranter. "Es können mehr Festplatten ausfallen, ohne dass Daten verloren gehen. Außerdem sei es eine bessere Alternative für deren Archivierung.

Höhere Leistung

Quobyte 1.3 wird die Metadatenverarbeitung beschleunigen. Um dies zu erreichen, schrieben die Entwickler zentrale Bestandteile des Datenbanksystems komplett neu, mit dem Ziel, die Performance-Vorteile moderner Multicore-CPUs voll ausschöpfen zu können.

In Folge dessen sei es nun möglich, pro Sekunde tausende an Dateien in einem einzigen Volume anzulegen. Höchste Skalierbarkeit sei dadurch gewährleistet, dass Quobyte hinsichtlich der Anzahl an Volumes keinerlei Begrenzungen unterliege.

Durch die Optimierung des gesamten I/O-Pfades soll die aktuelle Dateisystemversion zudem beim Einsatz mit Block-Speichern eine deutlich bessere IOPS-Leistung und Durchsatzrate bieten. Außerdem lägen die Latenzen für direktes I/O unter einer Millisekunde. Dadurch eigne sich das jüngste Release nunmehr neben High-Performance-Computing- (HPC) ebenso für Scale-out NAS-Workloads.

"Quobyte ist nicht einfach ein weiteres verteiltes Dateisystem, sondern eine ganz neuartige Technologie im Bereich paralleler Dateisysteme. Fehlertoleranz und Datensicherheit werden vollständig mittels Software verwirklicht, wobei zugleich die Vorzüge von Dateisystemen beibehalten werden. Das erlaubt es, eine verlässlichere und besonders einfach zu verwaltende HPC-Speicherinfrastruktur aufzusetzen. Quobyte verwischt damit die Grenzen zwischen Scale-out-NAS und primärem und sekundärem HPC-Speicher", führt Felix Hupfeld aus.

Google und Amazon als Vorbild

Die Wurzeln von Quobyte liegen in der HPC-Community. Vor der Gründung des Startups entwickelten die beiden Gründer Björn Kolbeck und Felix Hupfeld zusammen mit ihrem Team am Zuse-Institut das parallele Open-Source-Dateisystem XtreemFS.

Quobyte baut auf dieser Arbeit auf, da die grundlegende Architektur sowie die besten Teile des Vorgängers beibehalten wurden. Ergänzend hierzu fließen in die Lösung die von Kolbeck und Hupfeld bei ihrem zwischenzeitlichen Arbeitgeber Google in einem Projekt mit hochskalierbaren Speichersystemen gesammelten Erfahrungen ein.

Ergebnis ist ein hochskalierbares POSIX-kompatibles paralleles Dateisystem, das Datei-, Block- und Objektspeicher unterstützt. Neben HPC-Workloads sollen sich alle Arten von Anwendungen und jegliche Arbeitslasten auf gewöhnlichen x86-Servern ausführen lassen. Mit der Software ließen sich diese in automatisierte, fehlertolerante und von nur wenigen Mitarbeitern einfach verwaltbare Speichersysteme verwandeln. Dies erlaube Betreibern von Rechenzentren ebenso effiziente und skalierbare Infrastrukturen aufzubauen, wie sie bei Google oder Amazon zum Einsatz kämen, so Hupfeld.

Alternative zu Netapp und Isilon

Mit Quobyte sollen sich in einer einzigen konsolidierten Installation alle Workloads beherrschen lassen, angefangen von virtuellen Maschinen über gemeinsame genutzte Dateispeicher bis hin zum High-Performance-Computing.

Quobyte-Installationen bewegen sich von der Kapazität her von weniger als 50 Terabyte bis hin in den Petabyte-Bereich. Zu den Kunden zählen unter anderem ein deutscher Cloud-Service-Provider, ein Unternehmen, das Online-Videos aufzeichnet, ein Container-Service-Provider und eine US-amerikanische Universität.

Hupfeld schätzt, dass die durchschnittliche Kapazität bei 200 Terabyte startet und er sagt, dass Nutzer inzwischen dazu tendieren, sich ab 100 Terabyte nach Alternativen zu Netapp oder Isilon umzusehen.

Ausblick

Der Fokus künftiger Produkt-Releases soll vor allem auf dem weiteren Ausbau der Performance liegen. Dadurch ließe sich unter anderem Hardware einsparen und der Stromverbrauch senken. Seit der Einführung des Produkts hat Quobyte die Lösung zudem für den Einsatz in Container-Infrastrukturen, darunter Docker, Apache Mesos und Kubernetes, optimiert.

Ab der Version Kubernetes 1.4, deren Veröffentlichung noch in diesem Monat geplant ist, soll sich Quobyte per Konfiguration darüber hinaus direkt als Volume in Kubernetes einbinden lassen. Bisher sei dies nur aufwändig mittels manueller Programmierung möglich.

(ID:44279005)