Storage-Trends 2019

Im HPC-Umfeld tut sich in punkto Dateisysteme einiges

| Autor / Redakteur: Autor: Jim Donovan* / Tina Billo

Immer rechenintensivere Anwendungen wie KI und maschinelles Lernen halten inzwischen auch in Unternehmen Einzug. Dies leistet dem Einsatz von HPC-Speichern Vorschub. Womit auf diesem Gebiet 2019 zu rechnen ist.
Immer rechenintensivere Anwendungen wie KI und maschinelles Lernen halten inzwischen auch in Unternehmen Einzug. Dies leistet dem Einsatz von HPC-Speichern Vorschub. Womit auf diesem Gebiet 2019 zu rechnen ist. (Bild: gemeinfrei - Gerd Altmann / Pixabay / CC0)

Seit 2009 wachsen die mit externen HPC-Speichern erzielten Umsätze. Dieser Trend setzt sich aus Sicht von Hyperion Research auch künftig fort, bis 2021 prognostizieren die Analysten diesem Segment eine Wachstumsrate in Höhe von 7,8 Prozent. Panasas erläutert, wohin die Reise im kommenden Jahr bei den eingesetzen Dateisystemen gehen könnte und welche Entwicklungen den Markt diesbezüglich beschäftigen werden.

HPC ist schon längst nicht mehr nur ein Synonym für Supercomputing, sondern inzwischen auch in den Unternehmen angekommen. Dementsprechend stehen immer mehr auf diesen Markt ausgelegte Speicherlösungen inklusive Filesysteme für die Verwaltung der großen Datenmengen zur Verfügung. Drei Themen, die dabei im kommenden Jahr vermutlich eine Rolle spielen werden.

Speicherhersteller schließen die bei HPC-Lösungen bestehende Lücke

Rund 35,4 Milliarden US-Dollar spülte der Verkauf von HPC-Lösungen, darunter Server, Storage und Software, den Herstellern gemäß Zahlen des Analystenhauses Intersect 360 im Jahr 2017 in die Kassen. Ihrer traditionellen Domäne, dem öffentlichen Sektor – akademischen Einrichtungen, nationalen Forschungslaboren oder Regierungsbehörden – sind sie inzwischen entwachsen. Verstärkt halten sie in kommerziell tätigen Unternehmen Einzug, zu den Top-Umsatzbringern zählen dabei die Finanz-, Fertigungs- und Pharmaindustrie sowie die Energiewirtschaft. Mit über 56 Prozent Umsatzanteil entwickelt sich dieses Segment zum größten und am schnellsten wachsenden und beflügelt damit den HPC-Markt.

Zweifelsohne ähneln sich die an Speicherlösungen gestellten Anforderungen in punkto I/O-Performance und Bandbreite. Geht es dagegen um Punkte wie Verwaltbarkeit und Verlässlichkeit, herrschen durchaus Unterschiede vor. So beschäftigen große öffentliche Einrichtungen für die Verwaltung ihrer meist auf individuelle Gegebenheiten zugeschnittenen und komplexen Installationen oftmals eine Heerschar an speziell auf das Thema Storage spezialisierten und damit teuren Systemadministratoren. Für den Unternehmenseinsatz vorgesehene HPC-Speicher müssen hingegen „Plug-and-Play“-fähig sein, das heißt sich unaufwändig installieren und ohne große manuelle Eingriffe betreiben lassen.

Obwohl sich die Anbieter paralleler Filesysteme auf den kommerziellen Markt konzentrieren, erfüllt nicht jede Lösung die hier geltenden Erfordernisse. Open-Source-Dateisysteme wie Lustre und BeeGFS erfreuen sich beispielsweise in öffentlichen Einrichtungen großer Beliebtheit. Aufgrund ihrer Komplexität und mangelnden Managementfähigkeiten eignen sie sich jedoch weniger für den Unternehmenseinsatz. Hier sind proprietäre Dateisysteme aufgrund ihrer einfacheren Verwaltbarkeit oftmals die bessere Wahl.

HPC schafft die Voraussetzung für KI-Anwendungen

Auf künstlicher Intelligenz (KI) oder dem maschinellen Lernen beruhende Anwendungen benötigen sehr große Datensätze für das Modelltraining. Für deren schnelle Verarbeitung bieten sich HPC-Lösungen an. Diese müssen so ausgelegt sein, dass sie mit großen Mengen an unstrukturierten Daten zurechtkommen, mit denen rechenintensive Frameworks und Anwendungen gefüttert werden. Die Basis hierfür schafft ein leistungsstarkes, paralleles Filesystem.

Die Kombination von hybriden Flash- und Festplattensystemen mit einem parallelen Dateisystem bietet sich unter wirtschaftlichen Aspekten ideal für das Modelltraining extrem großer Datensätze an. Die in der operativen KI eingesetzten Anwendungen sind auf geringe Latenzzeiten angewiesen, All-Flash-Arrays sind hier ein perfekter Fit. Allerdings aus Kostengründen nur, solange sich die benötigte Speicherkapazität einigermaßen im Rahmen hält und sich nicht bis hin in den Multi-Petabyte-Bereich bewegt.

Verfügbarkeit paralleler Open-Source-Dateisystemen bleibt ein Thema

Die Übernahme von Intels parallelem Open-Source-Filesystem Lustre seitens DDN führte zu Aufregung am Markt. Denn der Halbleiterhersteller profitierte vom Verkauf von Prozessoren an Anbieter von HPC-Rechenclustern, die Speicherlösungen auf Lustre-Basis anboten. Dementsprechend gab es kein kommerziellen Konflikte, sondern nur rundum Gewinner.

Diese Situation stellt sich nun aber anders da. Denn DDN ist einer der größten Hersteller im HPC-Speicherumfeld und ein äußerst harter Mitbewerber. Durch den Kauf von Lustre besitzt somit ein bei weitem nicht so neutraler Anbieter wie Intel die Vertriebsrechte an dem Dateisystem, zudem sind die bestehenden Verträge mit einer Reihe an HPC-Storage-Unternehmen auf DDN übergegangen.

Was nun kommt, ist somit offen und bleibt der Phantasie jedes Einzelnen überlassen. Formuliertes Ziel von DDN ist jedoch, dass Dateisystem weiterzuentwickeln und neue Funktionen zu integrieren, sodass dieses über den HPC-Markt hinausgehend noch attraktiver für den breiten Unternehmenseinsatz wird. Ob Firmen, die sich in der Vergangenheit für die Lösung entschieden haben, dadurch Nachteile entstehen, muss abgewartet werden.

Der Autor: Jim Donovan ist Chief Sales and Marketing Officer bei Panasas
Der Autor: Jim Donovan ist Chief Sales and Marketing Officer bei Panasas (Bild: Panasas)

Kommentare werden geladen....

Was meinen Sie zu diesem Thema?

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45687322 / Storage Hardware)