Vorbild Hyperscaler Fünf Tipps für den Aufbau skalierbarer Speicherumgebungen

In Hyperscale-Rechenzentren laufen High-Performance-Computing- (HPC), Big-Data-Analytics-, KI- und containerisierte Anwendungen sowie viele weitere datenintensive Workloads. Dies erfordert Speicher, der mit Milliarden Dateien und Hunderten Petabyte an Daten zurechtkommt. Die Basis stellen leistungsstarke, skalierbare Storage-Lösungen. Unternehmen können das Gestaltungsprinzip adaptieren - Quobyte erläutert, worauf es dabei ankommt.

Anbieter zum Thema

DataCore Software GmbH

Fujitsu Technology Solutions GmbH

Scality

Hyperscale-Rechenzentren sind auf dem Vormarsch. 2021 soll es laut Cisco knapp 630 davon rund um den Globus geben und damit bereits 240 mehr als noch 2017. Das was Amazon, IBM, Microsoft, Google & Co vorgemacht haben, ist schon längst nicht mehr nur deren Domäne. Vielmehr bieten immer mehr Hersteller speziell für den Unternehmenseinsatz konzipierte Lösungen an, mit denen sich Hyperscale-Umgebungen in kleinerem Maßstab aufbauen lassen.

Geht es um die zugrundeliegenden Speicherinfrastrukturen, kommt es neben Leistungsstärke und einfacher Verwaltbarkeit vor allem darauf an, dass sich diese skalieren lassen. Für ihren Aufbau sollten Unternehmen Lösungen wählen, die folgende Merkmale aufweisen.

Dateibasiert

Spielt Leistung eine Rolle, kommen block- und objektorientierte Plattformen oder Produkte in punkto Flexibilität nicht an dateibasierte Systeme heran. Zwar bietet in Speichernetzwerken eingesetzter traditioneller Blockspeicher ebenfalls eine hohe Performance, allerdings nur beim lokalen Einsatz und solange er lediglich eine überschaubare Zahl an Geräten bedient. In Sachen Skalierbarkeit schneidet der Klassiker weniger gut ab - so können Erweiterungen beispielsweise Leistungseinbußen oder eine komplexere Verwaltung nach sich ziehen.

Objektspeicher zeichnet sich hingegen durch eine nahezu unbegrenzte Erweiterbarkeit aus und bietet Raum für die Speicherung von Millionen bis hin zu Milliarden von Objekten - allerdings punkten einige heutige Dateisysteme mit einer vergleichbaren Skalierbarkeit. Hinsichtlich IOPS-Leistung und Latenz hinkt Object Storage jedoch filebasierten Systemen hinterher und tut sich vor allem bei primären Workloads schwer, insbesondere wenn viele kleine Dateien bewältigt werden müssen. Zudem beherrschen nicht alle Anwendungen von Hause aus, die für den Zugriff auf Object Storage nötigen Protokolle. Dies macht den Einsatz eines Add-On-Gateway erforderlich, der Leistungsengpässe verursachen kann.

"Unfied"

Aufgrund verschiedener technischer Einschränkungen führten Speichererweiterungen in der Vergangenheit häufig dazu, dass die Zahl an separat betriebenen Speicherservern in Unternehmen anstieg und Silostrukturen entstanden. Dies erschwerte den Zugriff auf die Speicherressourcen und Daten. Einen Ausweg aus diesem Dilemma bietet der Wechsel auf eine "Unified Storage"-Plattform, die heterogene Kommunikationsprotokolle in einem Pool zusammenführt. Dies ermöglicht über NFS, SMB oder S3 auf Daten von und zwischen Linux-, Windows- oder Mac-Systemen zuzugreifen.

Da Unified-Storage-Plattformen sowohl ältere als auch neue Anwendungen unterstützen, sind sie für den Einsatz in Umgebungen mit traditionellen und modernen Workloads prädestiniert. Beispielsweise kann ein Windows-Nutzer eine große Datei bearbeiten, während ein Mac-Anwender diese gleichzeitig liest. Hierfür muss sie weder kopiert, noch auf ein anderes System verschoben werden. Ebenso lassen sich Dateien über S3 einfach teilen und gemeinsam nutzen.

Open-Source-fähig

Hyperscale-Umgebungen setzen meist auf Open-Source- und Open-Computing-Ökosystemen auf, da diese Innovation, Finanzierbarkeit und Integrationsfähigkeit angehend, Vorteile bieten. So setzen Betreiber der größten Rechenzentren für die wirtschaftliche Verwaltung ihrer Compute-, Storage- und Networking-Ressourcen auf Openstack.

Storage-Plattformen sollten daher mit Openstack zusammenspielen können und umgekehrt sowie die zugehörigen Schnittstellen und Komponenten, darunter Cinder, Manila, Glance oder Keystone, unterstützen.

SPoF-frei

Fehlertoleranz ist in großen Umgebungen, in denen unzählige Hard- und Softwarelösungen zum Einsatz kommen, ein absolutes Muss. Durch Redundanz ohne Single Points of Failures (SPoFs) lässt sich für Ausfallsicherheit sorgen. Gleichermaßen müssen ausgefallene Komponenten angefangen von defekten oder fehlerhaft arbeitenden Switch-Komponenten und Netzwerkkarten bis hin zu schadhaften Netzwerkkabeln aber auch möglichst einfach identifiziert und ausgetauscht werden können. Ansonsten können sie einen SPoF darstellen und es zum Verlust oder der Beschädigung von Daten kommen.

In Computerclustern kann sich zudem ein partieller Ausfall als SPoF erweisen und eine Split-Brain-Situation hervorrufen. Dadurch ist unklar, welche Dateiversion aktuell sowie korrekt ist und die Datenkonsistenz lässt sich nicht gewährleisten. Eine solches Szenario lässt sich durch den Einsatz von Software vermeiden, die Funktionen zur Datenverfizierung und Durchführung von Konsistenzprüfungen bietet sowie Platten- und Knotenausfälle automatisch behebt.

Einfach verwaltbar

Die in Hyperscale-Umgebungen zu bewältigenden Datenmengen können sich von Jahr zu Jahr verdoppeln oder verdreifachen - auf das für ihren Betrieb und für ihre Betreuung bereitstehende Budget oder zuständige IT-Personal trifft dies hingegen nur in den seltensten Fällen zu. Daher müssen die eingesetzten leistungs- und kapazitätsstarken Speicherlösungen sich möglichst unaufwändig, ohne großen Zeiteinsatz verwalten und instandhalten lassen.

Hochautomatisierte Systeme mit integrierten Selbstüberwachungs- und Selbstheilungsfunktionen entlasten mit dem Betrieb großer Installation betraute Administratoren und ermöglichen selbst kleinen IT-Teams Dutzende bis Hunderte Petabyte an Daten zu verwalten.

* Björn Kolbeck ist Mitbegründer und CEO von Quobyte.

(ID:45558185)