Suchen

Schneller Zugriff und hohes Speichervolumen bei günstigem Preis Storage-Lösungen für den Einsatz mit KI und ML

| Autor / Redakteur: Thomas Joos / Dr. Jürgen Ehneß

Unternehmen, die auf künstliche Intelligenz (KI) und Machine-Learning (ML) im Netzwerk setzen, müssen darauf achten, dass die eingesetzte Storage-Lösung schnell genug ist, um die Daten für Lösungen im KI-/ML-Bereich zur Verfügung zu stellen. Auch die Kapazität ist entscheidend.

Firmen zum Thema

Für den Einsatz von KI und ML müssen die Leistung und die Kapazität der Storage-Systeme passen.
Für den Einsatz von KI und ML müssen die Leistung und die Kapazität der Storage-Systeme passen.
(Bild: gemeinfrei / Pixabay )

In kaum einem Bereich ist es so notwendig, dass der Storage-Bereich optimal für die Zusammenarbeit konzipiert sein muss, wie beim Einsatz von künstlicher Intelligenz (KI) und Machine-Learning (ML). Hier müssen Leistung und Kapazität ausreichen, da ansonsten das KI-und-ML-System nicht optimal arbeiten kann. Hier entsteht natürlich dann das Problem, dass der Speicher sehr teuer ist, da Kapazität und Leistung optimal ausgestattet sein müssen. Es gibt verschiedene Ansätze, wie diese Herausforderungen gelöst werden können.

Unternehmen, die auf KI, ML und Deep Learning (DL) setzen, benötigen die entsprechende Infrastruktur und müssen dafür sorgen, dass die Datensilos im Netzwerk aufgelöst werden. Daten in diesen Systemen müssen miteinander verknüpft sein und schnell zur Verfügung stehen. Systeme für das Datenmanagement können beim Einsatz von KI, ML oder DL enorm hilfreich sein. Beispiele dafür sind Lösungen von NetApp, Dell oder HPE.

Es gibt auch Storage-Systeme, die wiederum auf KI und ML setzen, um das Speicherproblem zu lösen, das durch KI und ML verursacht wird. HPE bietet zum Beispiel mit Systemen wie HPE ML Ops eine containerbasierte Lösung, die vor allem für den Lebenszyklus von Machine-Learning-Modellen genutzt wird.

Software-Defined Storage für KI nutzen

Durch die Verwendung von Software-Defined Storage (SDS) für den KI-Bereich lassen sich skalierbare Speicher umsetzen, in denen auch verschiedene Speichertechnologien miteinander gemischt werden können. Besonders häufig verwendete Daten (Hot Data) werden in schnellen Datenspeichern abgelegt, zum Beispiel All-Flash oder NVMe. Nicht ganz so häufig verwendete Daten speichert das System automatisch auf SSD oder anderen schnellen Datenträgern.

Archivdaten, die weniger benötigt werden (Cold Data) können wiederum auf herkömmlichen Speichern wie HDD abgelegt werden. Der gesamte Speicher wird als Gesamtkapazität für die Anwender zur Verfügung gestellt, und die Software-Defined-Storage-Lösung verteilt die Daten möglichst optimal. Das hat gleichzeitig den Vorteil, dass alle Speichertechnologien optimal ausgelastet werden können.

SDS ist seit einigen Jahren in vielen Netzwerken im Einsatz. Es gibt mittlerweile auch Systeme, die KI- und ML-Technologien im Storage-Bereich bei SDS einsetzen. Hier spielt natürlich die Analyse eine Rolle, über die festgelegt wird, welche Daten heiß oder kalt sind und auf entsprechenden Datenspeichern abgelegt werden. Beim Planen einer Storage-Lösung sollten solche Systeme zumindest in die Erwägung gezogen werden. Hier bieten HPE und Dell entsprechende Systeme an.

Vorhandenen Speicher weiter nutzen, aber mit KI und ML verbessern

In vielen Fällen gibt es in Netzwerken schon ausreichend Speicher-Hardware, die aber ineffektiv genutzt wird. Einzelne Geräte sind unter Umständen ausgelastet, während andere noch Kapazität frei haben. Hier kann der Erwerb einer Software-Defined-Storage-Lösung hilfreich sein, den Datenspeicher zentral zu verwalten und dadurch die Kapazität insgesamt effektiver zu nutzen. Hier sollten sich Unternehmen auf ML-Lösungen konzentrieren, die Daten optimal analysieren und entsprechend speichern können.

Hybride Cloud für Storage einsetzen

Natürlich kann beim Einsatz von KI und ML auch auf Cloud-Lösungen gesetzt werden. In vielen Fällen werden KI- und ML-Lösungen entweder in der Cloud betrieben oder arbeiten zumindest mit der Cloud zusammen. In diesem Zusammenhang kann es sinnvoll sein, auch den Datenspeicher in der Cloud zu buchen. Es gibt hier auch Speicher wie StorSimple. Dabei wird im lokalen Rechenzentrum ein Datenspeicher betrieben, der aber auch auf Storage in Microsoft Azure zugreifen kann. Dadurch ist die Lösung sehr flexibel und skalierbar. Daten können lokal und in der Cloud gespeichert werden, die Verwaltung übernimmt das StorSimple-Gerät. Hier spielen natürlich auch die Leitung ins Internet und die Leistung im Netzwerk eine Rolle.

Häufig werden Storage-Systeme für Hybrid-Clouds oder in Software-Defined-Storage-Systemen zusammen mit passender Hard- und Software für das Netzwerk angeboten. NetApp bietet zum Beispiel eine Architektur, die Speicher auf Basis von All-Flash zur Verfügung stellt, zusammen mit Netzwerkkomponenten von Cisco an. Der Speicher ist vor allem ideal für den Einsatz in KI-/ML-Umgebungen. Hier wird schnell klar, dass in einem Netzwerk, in dem KI- und ML-Daten verarbeitet werden, alle Komponenten optimal miteinander interagieren müssen, damit die Lösung vernünftig arbeitet.

Bestandteil der Architektur ist ein All-Flash-System mit Cloud-Integration. Das System ist dafür optimiert, Daten an die Server weiterzusenden, auf denen die KI-Berechnungen durchgeführt werden. Durch dieses Gesamtpaket können alle beteiligten Komponenten ihren maximalen Nutzen ausspielen. Hier kommen also All-Flash-Technologien mit Software-Defined-Storage-Funktionen, Hybrid-Cloud-Technologien und eine perfekte Abstimmung aufeinander ins Spiel.

Maximale Leistung mit Flash-Speicher

Wer maximale Leistung will, kann natürlich auf Flash-Speicher setzen. Auch All-Flash-Speicher ist hier sinnvoll. Hier reichen Leistung und Kapazität natürlich aus, wenn das entsprechende System genutzt wird. Der Nachteil bei dieser Lösung sind sicherlich die Kosten, da die Preise für Speicherchips noch sehr hoch sind. Aus diesem Grund werden Flash-Speicher häufig zusammen mit günstigeren Speichern in Software-Defined-Storage-Lösungen integriert. Die optimale Verteilung übernimmt in diesem Fall das Software-Defined-Storage-System.

(ID:46574201)

Über den Autor

 Thomas Joos

Thomas Joos

Freiberuflicher Autor und Journalist