Suchen

Optimierung, Erweiterung und Investition in moderne Speicherlösungen Storage für den Einsatz mit KI und ML, Teil 2

| Autor / Redakteur: Thomas Joos / Dr. Jürgen Ehneß

Beim Einsatz von KI und ML spielt die Leistung des verwendeten Speichersystems eine wichtige Rolle. Hier müssen zahlreiche Formate unterstützt werden, und die Leistung, die Bandbreite und die Latenz müssen passen.

Firma zum Thema

Für den Einsatz von KI und ML sind Storage-Systeme mit entsprechender Leistung und Kapazität gefordert.
Für den Einsatz von KI und ML sind Storage-Systeme mit entsprechender Leistung und Kapazität gefordert.
(Bild: gemeinfrei / Pixabay )

Beim Einsatz von KI und ML im Unternehmen werden in vielen Fällen enorme Datenmengen verwendet, die schnell gespeichert und zugreifbar sein müssen. Wird auf Deep Learning gesetzt, fallen häufig besonders große Datenmengen an. Bei der Arbeit mit KI und ML werden Daten im Arbeitsspeicher verarbeitet. Das bedeutet, dass das Speichersystem neue Daten schnell nachliefern muss, um die Abläufe nicht zu verzögern.

Werden Modelle trainiert, müssen Schreib- und Lesevorgänge schnell abgewickelt werden. Daher spielen Bandbreite und Durchsatz eine wichtige Rolle. Wenn mehrere verschiedene Modelle und Projekte in einem Netzwerk abgewickelt werden, ist es sinnvoll, darauf zu achten, dass das Storage-System für verschiedene Bedingungen, Datenmengen und Formate optimiert sein muss. In den meisten Fällen wird beim Einsatz von Storage in KI- und ML-Umgebungen auf verteilte Storage-Lösungen gesetzt, die ein paralleles Scale-Out ermöglichen. Server und Storage sollten mit sehr schnellen Datenleitungen verbinden sein, mindestens 10 GbE.

Dell EMC Ready Solutions für KI – Pakete mit Storage, Server und Switches

Dell bietet mit seinen Dell EMC Ready Solutions für KI Pakete an, bei denen Server, Netzwerkgeräte und Storage miteinander verbunden und aufeinander abgestimmt sind. Im Speicherbereich wird auf Isilon-Storage von Dell EMC gesetzt, idealerweise auf All-Flash-Varianten.

Dell-EMC-Isilon-All-Flash-Scale-Out-NAS bietet eine skalierbare und dabei hohe Analyseleistung. Dell EMC Isilon bietet eine Speicherergänzung zu GPU-beschleunigtem Compute für KI-Workloads. Isilon-All-Flash-Speicher kann zu einem vorhandenen Isilon-Cluster hinzugefügt werden. Der Speicher bietet bis zu 15 GB/s pro Gehäuse und bis zu 540 GB/s pro Cluster – damit wird der E/A-Engpass für KI beseitigt. Der Speicher unterstützt Protokolle wie SMB, NFS, HTTP und natives HDFS.

OneFS – das Datei- und Betriebssystem für Dell EMC Ready Solutions für KI

Isilon-Systeme setzen auf das Betriebssystem OneFS. Das Betriebssystem unterstützt alle KI- und ML-Funktionen, die Isilon-Speicher-Systeme unterstützen. Dateisystem, Volume Manager und Data Protection werden dazu in einer Software-Schicht kombiniert. OneFS ist eine Architektur mit einem einzigen Dateisystem und Volume. Hier lassen sich Daten im Petabyte-Bereich speichern und über 250 Knoten anbinden.

Die All-Flash-Plattform F810 und die Hybridplattform H5600 bieten zusammen mit OneFS Inline-Datenkomprimierung und erhöhen dadurch die Speicherkapazität um bis zu drei zu eins. OneFS bietet Unterstützung für transparente End-to-End-Datenverschlüsselung, bis zu 15,8 Millionen Datei-IOPS und einen gleichzeitigen Durchsatz pro Cluster von 945 GB/s. Das System bietet einen Scale-Out-Flash-Tier, was beim Einsatz von All-Flash-Hardware-Plattformen für hohe Leistung sorgt. Das spielt vor allem im KI-Bereich eine wichtige Rolle.

IBM Elastic Storage Server

Neben Dell spielt auch IBM im Storage-Bereich für KI eine wichtige Rolle. IBM Elastic Storage Server (ESS) steht auch für KI-Workloads zur Verfügung. Als Dateisystem setzt IBM hier auf IBM Spectrum Scale. Dabei handelt es sich um parallele Dateisystem in ESS. IBM Elastic Storage Server bietet einen Durchsatz von bis zu 40 GB/s und kann mit IBM Spectrum Scale auf eine Speicherkapazität von mehreren Exabytes erweitert werden. Durch die Storage-Tiering-Funktionalität ist es möglich, Daten in der Cloud oder außerhalb zu speichern. Das System kann also auch in hybriden Konfigurationen eingesetzt werden. IBM ESS lässt sich in einem Cluster mit IBM Elastic Storage System 3000-Servern ausführen. Dadurch erhalten Unternehmen NMVe-basierten Scale-Out-Speicher für KI- und HPC-Workloads.

Nvidia und NetApp ONTAP AI

NetApp ONTAP AI ist für KI-Projekte konzipiert. Dabei werden im Paket DGX-Server mit NetApp All Flash FAS Storage und Mellanox- oder Cisco-Netzwerke im Paket angeboten. Als System wird auf das Nvidia DGX A100 gesetzt. Das System nutzt die Ampere-Architektur. Als Storage nutzt das Paket NetApp-All-Flash-FAS-Systeme. Nvidia und NetApp geben einen Lesedurchsatz von bis zu 300 GB/s pro All-Flash-Cluster an. Mellanox- und Cisco-100-Gb-Ethernet-Switches sind für das Datacenter konzipierte hochperformante, dichte und kostengünstige 100-Gb/s-Switches mit niedriger Latenz. Diese verbinden Storage und Server miteinander.

CORTX – Hardware-unabhängige Object-Storage-Software mit Open Source

Seagate hat vor kurzem mit CORTX eine Software für Object-Storage vorgestellt. Die Open-Source-Software ist vor allem für den KI- und ML-Bereich interessant. Der Quellcode ist frei und steht auf GitHub zur Verfügung. Seagate hofft durch die Bereitstellung der Open-Source-Lösung CORTX natürlich, dass als Hardware auf Seagate-Produkte gesetzt wird. Mit dem Seagate Lyve Drive Rack steht zusammen mit CORTX ein Objektspeicher mit bis zu 1,7 Petabyte zur Verfügung. Nur die Hardware muss gekauft werden, die Software kostet keinerlei Lizenzgebühren.

CORTX wird aktuell bereits bei Toyota, Fujitsu und der UK Atomic Energy Authority eingesetzt. Der Object-Storage unterstützt KI- und ML/DL-Anwendungen wie TensorFlow problemlos. Seagate arbeitet im Zusammenhang mit CORTX auch mit Intel zusammen. Das bedeutet, dass die CORTX-Software auch in Intel-Storage wie zum Beispiel Optane integriert werden kann. Seagate Lyve Drive Rack verfügt über die neuesten Datenträger von Seagate mit einer Kapazität von 20 Terabyte. Die Festplatten nutzen Heat Assisted Magnetic Recording (HAMR). HAMR nutzt eine neue Art magnetischer Medientechnik, bei der Datenbits kleiner gemacht und dichter zusammengepackt werden können.

(ID:46912247)

Über den Autor

 Thomas Joos

Thomas Joos

Freiberuflicher Autor und Journalist