Die Entwicklungsdynamik der HPC-Speicher und die Bedeutung der Gesamtbetriebskosten Komplex und kostenintensiv: HPC-Storage

Anbieter zum Thema

DataCore Software GmbH

Fsas Technologies GmbH

FAST LTA GmbH

Wenn es darum geht, die neuesten Technologien zu beschreiben, werfen wir oft mit dem Begriff „Stand der Technik“ um uns, ohne uns darüber im Klaren zu sein, dass wir uns eigentlich auf ein an sich dynamisches Ziel beziehen.

Nehmen wir als Beispiel die Speicherlösungen für das High-Performance-Computing (HPC), die den Forschern helfen, mit den riesigen Datenmengen, die verarbeitet werden müssen, Schritt zu halten. HPC spielt eine immer wichtigere Rolle bei der Lösung einiger der kompliziertesten Probleme, von der Gensequenzierung über die Entwicklung von Impfstoffen bis hin zur numerischen Strömungsmechanik. Laut einer von Panasas in Auftrag gegebenen Studie von Hyperion Research wächst der weltweite Markt für HPC-Speicher mit einer durchschnittlichen Wachstumsrate von sieben Prozent und wird bis 2023 voraussichtlich sieben Milliarden US-Dollar erreichen.

Die Beschreibung eines HPC-Systems als „State of the Art“ berücksichtigt jedoch nicht alle Überlegungen, die Labore, Universitäten sowie andere Kunden, die große Speicherinfrastrukturen planen, bei ihren Kaufentscheidungen anstellen müssen. Sie sind nicht nur teuer in Anschaffung, Wartung und Betrieb, die Kosten für Ausfallzeiten und Ausfälle werden oft auch übersehen – bis es zu spät ist.

Die Anwender werden sich dieser Tatsache bewusst. Während 57 Prozent der von Hyperion befragten HPC-Speicherkäufer die Leistung als wichtigstes Entscheidungskriterium angaben, nannten 37 Prozent den langfristigen Wert beziehungsweise die Gesamtbetriebskosten (TCO) als Schlüsselfaktor.

Altbekannter Kummer

HPC-Speicher waren in der Vergangenheit auf die Verwaltung „großer“ Dateien ausgerichtet, seien es eine umfangreiche Klimasimulation oder das Streaming großer Dateien, die für die Erstellung oder Bereitstellung eines CGI-Films Voraussetzung sind. Hardware und Dateisysteme wurden für diese Szenarien optimiert. Viele Plattformen stützten sich auf Dateisysteme, die angeblich quelloffen waren. Oft mussten die Plattformen nach Abschluss einer Aufgabenstellung oder in Vorbereitung auf eine andere Ausgangssituation weiter optimiert werden.

Aber in der kommerziellen Welt gibt es keine Toleranz für Ausfallzeiten und die Art von Personalinvestitionen, die erforderlich sind, um die Dinge am Laufen zu halten. Von diesen Systemen wird erwartet, dass sie sich amortisieren und mehrere Workloads gleichzeitig bewältigen. In den vergangenen Jahren haben kleine Dateien eine immer zentralere Rolle gespielt, was zum Teil auf die Anforderungen von KI-Arbeitslasten zurückzuführen ist, obwohl es Anhaltspunkte gibt, die ein ähnliches Muster in traditionellen HPC-Bereichen wie Biowissenschaften und Strömungsberechnungen bestätigen.

Parallele Dateisysteme, bei denen alle Komponenten miteinander kommunizieren, steuerten mehr und mehr auf potentielle Überforderung zu, da das Verhältnis von Kommunikations- zu Verarbeitungsaufwand dynamisch stieg.

Die Verwendung von Flash-Speichern hat dazu beigetragen, dieses Problem zu entschärfen, aber ihr Einsatz ist im Vergleich zu herkömmlichen Festplatten weiterhin extrem teuer. Ein Lösungsansatz verfolgt, Flash-Speicher und herkömmliche Speicher in dieselbe Plattform zu integrieren. Dies bringt jedoch die Herausforderung mit sich, die verschiedenen Ebenen zu verwalten, um sicherzustellen, dass sie so leistungsfähig wie möglich eingesetzt werden.

Die Kosten der Komplexität

Hyperions Recherche hat mehrere aufschlussreiche Erkenntnisse über die Gesamtbetriebskosten im HPC-Bereich zutage gefördert.

Ein wichtiger Kostenfaktor sind die Mitarbeiter. Bei 43 Prozent der Installationen waren ein bis drei Mitarbeiter für die Wartung erforderlich, während acht Prozent vier bis fünf Mitarbeiter benötigten. Fünf oder mehr Spezialisten waren bei zehn Prozent der HPC-Speicherinstallationen erforderlich. Obwohl also etwas mehr als ein Viertel der Installationen 100.000 Dollar oder weniger für Personal ausgaben, lagen die Kosten bei fast einem Drittel zwischen 100.000 und 300.000 Dollar und bei fast 14 Prozent sogar über 500.000 Dollar. Allein die Rekrutierung und Schulung von Speicherexperten war für 38 Prozent der Unternehmen der schwierigste operative Aspekt der HPC-Speicherung.

Auch die Installation stellt eine große Herausforderung dar. Nur sechs Prozent der Unternehmen konnten ihre neuen HPC-Speicheranlagen innerhalb eines Tages in Betrieb nehmen, 38 Prozent brauchten zwei bis drei Tage. Mehr als ein Viertel benötigte vier bis fünf Tage, und ähnlich viele waren auch nach einer Woche noch mit dem Auspacken beschäftigt. Ausfälle von Speichersystemen resultieren in Kopfschmerzen, selbst wenn sie – theoretisch gesehen – betriebsbereit sind. Fast die Hälfte der Befragten gab an, dass sie ihre Systeme monatlich, vier Prozent wöchentlich und zwei Prozent täglich neu einstellen und optimieren müssen. Speicherausfälle sind ebenfalls allgegenwärtig, wobei ein Drittel der Unternehmen monatliche Ausfälle und acht Prozent wöchentliche Ausfälle zu verzeichnen haben.

Während 59 Prozent angaben, dass die Wiederherstellung in der Regel einen Tag oder weniger dauert, benötigten 24 Prozent zwei bis drei Tage, 14 Prozent bis zu einer Woche und drei Prozent mehr als eine Woche. Dies ist teuer, insbesondere für kommerzielle Kunden, die HPC-Speicher einsetzen. 41 Prozent der Unternehmen beziffern die Kosten für einen Tag Ausfall auf bis zu 99.000 US-Dollar. Vierzehn Prozent schätzen die Kosten mit 100.000 bis 500.000 Dollar, sechs Prozent mit 500.000 bis eine Million Dollar. Für vier Prozent lagen die Ausfallkosten pro Tag bei der schockierenden Summe von einer Million Dollar.

Da davon auszugehen ist, dass HPC-Speicherinstallationen eine größere Vielfalt an Aufträgen mit unterschiedlichen Dateitypen ermöglichen und Unternehmen eine geringere Fehlertoleranz entwickeln, werden die Käufer zwangsläufig stärker auf die TCO achten.

eBook zum Thema

Herausforderungen für den Speicher: Big Data

Storage-Systeme für große Datenmengen

Bei der Speicherung von Big Data wird zunehmend auf Data Lakes zurückgegriffen, doch genügt es nicht, die eintreffenden Datenströme einfach dorthinein zu kippen – dann würde daraus schnell ein „Data Swamp“. Lesen Sie im eBook, wie Sie optimal mit großen Datenbergen umgehen können und wie die entsprechenden Daten optimal für die Bearbeitung bereitgestellt werden können.

Die Themen im Überblick:

• Big Data und Storage-Systeme
• Aus Big Data Wert schöpfen
• Wohin mit den unstrukturierten Daten?
• Von der lokalen Appliance über Cloud Provider bis in die Hybrid Cloud

eBook „Storage-Systeme für große Datenmengen“ kostenlos downloaden

Performance-Vergleiche

Die Messung der Leistung von HPC-Speichern ist eine ungenaue Wissenschaft. Es gibt eine Reihe etablierter paralleler Dateisysteme auf einer Vielzahl von Hardware-Plattformen. Jede Installation ist auf die spezifischen Bedürfnisse des Kunden und die von ihm gewählten Anwendungen zugeschnitten. Die Ingenieure von Panasas haben sich auf die Bandbreite pro Laufwerk festgelegt, da dies die beste Möglichkeit ist, eine vergleichbare MB/s-pro-Dollar-Kennzahl für verschiedene Systeme zu erhalten.

Als Basis diente ein Panasas ActiveStor Ultra mit vier ASUs, PanFS und 96 HDDs, was einen Lesedurchsatz von 12.465 MB/s oder 13,0 GB/s pro 100 HDDs ergibt. Ein Blick auf veröffentlichte Leistungsdaten von IBMs Elastic Storage Server mit GPFS zeigt, dass ein HDD-basiertes Modell GL4S mit 24 GB/s und 334 Festplatten ausgestattet ist. Dies ergibt einen Durchsatz von 7,2 GB/s pro 100 HDDs.

Gesamtbetriebskosten im Visier

Vergleiche wie dieser stellen eine einfache Möglichkeit dar, die relative Performance von parallelen, auf Dateisystemen basierenden Hochleistungsspeichersystemen anhand öffentlich verfügbarer Informationen zu bewerten.

HPC-Storage-Installationen sind zunehmend darauf ausgerichtet, ein breiteres Spektrum an Problemen anzugehen, einschließlich KI und Analytik. Die Unzulänglichkeiten herkömmlicher Ansätze werden immer deutlicher, und die versteckten Kosten von HPC-Speichern wie Personal und Ausfälle lassen sich immer schwerer verbergen oder ignorieren.

*Der Autor: Brian Reed, VP Product and Alliances, Panasas

(ID:47563538)