Der Einfluss von KI, ML und Deep Learning auf Data Storage „Ein neues Zeitalter der Datenspeicherung“

Anbieter zum Thema

Quantum Boehmenkirch GmbH & Co. KG

DataCore Software GmbH

FAST LTA GmbH

Seit Jahren wird viel über Artificial Intelligence (AI) und Maschinelles Lernen (ML) diskutiert. Fraglich blieb, ob der Einfluss auf unser Leben tatsächlich spürbar ist. Jedoch scheinen sich mit dem erfolgreichen Einzug von ChatGPT in unseren Alltag die AI-Prognosen aus den letzten Jahren zu bewahrheiten.

Es steht wohl außer Frage, dass AI und andere Formen des Maschinellen Lernens das Leben und die Wirtschaft maßgeblich verändern werden. Auf der Grundlage riesiger Datenmengen lassen sich wiederholende Aufgaben mit AI-Tools beschleunigen und automatisieren. Deep-Learning-Anwendungen werden dabei in drei Schritten entwickelt: Datenaufbereitung, Modelltraining und Schlussfolgerung.

• 1. Datenvorbereitung (Data Preparation): Enorme Masse an Rohmaterial wird in nutzbare Daten konvertiert.

• 2. Modelltraining (Model Training): Training der Software-Programme, aus Daten neue Fähigkeiten zu erlernen.

• 3. Schlussfolgerung (Inference): Das Programm setzt das Gelernte bei neuen Daten ein.

Daten sind die Grundlage für AI. Man kann also davon ausgehen, dass mit vermehrtem Einsatz von AI-Anwendungen noch mehr Daten generiert werden. Branchenspezialisten schätzen, dass sich der Umfang unstrukturierter Daten – also Dateien und Objekte – in den nächsten Jahren verdoppeln oder sogar verdreifachen wird. Eine große Rolle bei diesem Wachstum werden AI, ML und Deep Learning spielen.

Neues Zeitalter der Datenspeicherung

Das neue Zeitalter für Daten bringt einige besondere Herausforderung für die Verantwortlichen mit sich. Der Umfang und das Volumen der Datensätze sind exponentiell größer als alles andere je zuvor. Entwickler von Machine-Learning-Technologien für Autonomes Fahren produzieren im Allgemeinen in nur wenigen Jahren mehr als ein Exabyte an Daten. Als eine Form des Maschinellen Lernens und Maschinellen Sehens beruht Autonomes Fahren auf Bild- und Videodaten. In den nächsten fünf Jahren wird sich die Datenmengen aufgrund von AI und ML weiter stark vergrößern.

Storage-Infrastruktur muss sich ändern

Die Leistung der Speicherinfrastruktur wird durch solche Deep-Learning-Anwendungen über die einfache Speicherung hinaus außerordentlich gefordert. Üblicherweise benötigt die Verarbeitung dieser umfangreichen unstrukturierten Datensätze sehr niedrige Latenzzeiten und in diesem Zusammenhang konsistente Leistung. Diese Anforderungen können von festplattenbasierten Speichersystemen, die auf seriellen Festplatten basieren, einfach nicht mehr erfüllt werden. Um die gefragten niedrigen Latenzzeiten und stärkere Leistung garantieren zu können, vertrauen Unternehmen auf neue verteilte Architekturen, die auf NVMe und RDMA basieren. Aufgrund der zunehmenden Günstigkeit dieser auf Flash basierenden Speicher werden diese auch häufiger verwendet.

Wesentliche Performancesteigerung von Speichersystemen erforderlich

Ein weiterer wichtiger Punkt ist der Speicherort dieser Daten. Nur selten liegen sie handlich auf dem Arbeitsspeicher im Hauptzentrum. Diese Daten werden meistens außerhalb des Rechenzentrums erzeugt und schließlich an einen anderen Ort zur Verarbeitung übertragen. Das kann entweder in einem Rechenzentrum oder in der Public Cloud stattfinden, oder aber, und das ist wahrscheinlicher, die Datenverarbeitung erfolgt an beiden Orten. Datentransport und Datenmanagement über ihren gesamten Lebenszyklus hinweg sind ausschlaggebend für das Management der IT-Infrastruktur, insbesondere weil die Datenmengen und ihre Modelle jahrzehntelang gespeichert werden – für den Fall, dass die Programme irgendwann einmal neu trainiert werden müssen.

Diese Aspekte des Datenmanagements setzen alte Speicherarchitekturen schon lange unter Druck. Der Großteil der unstrukturierten Daten liegt heute auf Speichersystemen ab, die vor 20 Jahren entwickelt wurden. Damals konnte man sich noch nicht vorstellen, dass einmal Billionen von Daten und Objekten von Maschinen und nicht von Menschen erzeugt und jahrzehntelang gespeichert werden würden.

Fazit: Mit NVMe und RDMA zum Storage der neuesten Generation

Auf lange Sicht können Unternehmen, die Anwendungen auf Basis von AI, ML und Deep Learning erzeugen, ihre Ziele nicht mit traditionellen Storage-Infrastrukturen erreichen. Datenwissenschaftler, Inhaltsersteller und Analysten, die jeden Tag auf diese Anwendungen angewiesen sind, werden in ihrer Produktivität wesentlich eingeschränkt. Um die Produktivität dieser Fachkräfte zu fördern, müssen Unternehmen sich mit den neusten Alternativen der Speicherarchitekturen befassen. Ein Teil dieser Planung werden zwangsläufig NVMe und RDMA sein.

* Die Autorin: Ines Wolf, Manager Pre-Sales Zentraleuropa bei Quantum

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

• Aktuelle Trends in der Künstlichen Intelligenz
• High-Performance Computing – Explosion der Innovationen
• Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:49620914)