Effizienz, Energieverbrauch, Observability Datenmanagement-Trends im Jahr 2024

Anbieter zum Thema

VAST Data

FAST LTA GmbH

Impossible Cloud GmbH

Sven Breuner, Field CTO International bei VAST Data, gibt einen Ausblick auf das anspruchsvolle Datenmanagement rund um KI und Deep Learning im neuen Jahr.

Heute sind GPTs (Generative Pre-trained Transformers) der Motor für die am schnellsten wachsenden Internetanwendungen aller Zeiten – und das ist erst der Anfang. Mit GPTs wird sich der Beginn der Deep-Learning-Ära endgültig manifestieren. So sind neuronale Netze und leistungsstarke Grafikprozessoren nun in der Lage, Daten zu verarbeiten, die bislang ohne menschliches Zutun von Maschinen nicht verstanden wurden. KI verarbeitet eine Kombination aus unstrukturierten und datenreichen Streams, um zu lernen und natürliche Gegebenheiten zu begreifen.

2023 drehte sich viel um ChatGPT, Bard und andere LLM-Anwendungen, ein Trend, der sich mit neuen Anwendungsfällen fortsetzen, aber etwas abkühlen wird. Dies liegt auch daran, dass sich die Einführung neuer KI- und Deep-Learning-Anwendungen in der Praxis als überaus komplex erweist. Der Weg zum KI-gesteuerten Unternehmen geschieht nicht von heute auf morgen.

Effizienz ist für KI-Cloud-Anbieter besonders wichtig

GPUs und die Datenplattformen sind für den Erfolg von Deep Learning entscheidend. Der aktuelle GPU-Mangel muss keine KI-Bremse sein, da es immer mehr Angebote rund um KI aus der Cloud gibt. Spezialisierte Service-Provider wie CoreWeave, Lambda Labs oder Core42 werden ihren steilen Wachstumskurs fortsetzen, da Unternehmen mit diesen Ressourcen schneller von Deep Learning profitieren können.

Hierbei ist Effizienz besonders wichtig. Jedes Plus an GPU-Leistung, das CoreWeave herausholen kann, wirkt sich direkt auf die Wettbewerbsfähigkeit gegenüber führenden Cloud-Anbietern aus. Eine auf der DASE-Architektur (Disaggregated Shared-Everything) basierende Datenplattform ist in jeder Größenordnung vollparallel und bietet die für die heutigen KI-Supercomputer erforderlichen Optimierungen (RDMA I/O, GPUDirect Services). Selbst bei Standardschnittstellen wie NFS steht die Skalierung bereit, die für die anspruchsvollsten KI-Cluster von heute erforderlich ist.

Die On-Demand GPU Cloud von Lambda beispielsweise bietet erstklassige GPU-Setups für LLM-Aufgaben. CoreWeave liefert eine hochleistungsfähige Compute-Infrastruktur für anspruchsvolle KI-Anwendungen.

Core42 hat eine zentrale Datengrundlage für ein globales Netzwerk von KI-Supercomputern geschaffen, um Hunderte von Petabyte an Daten zu speichern und daraus zu lernen. CSPs wie diese ermöglichen es Unternehmen, KI-Architekturen schnell und kosteneffizient aufzubauen, und verschaffen ihnen Zugang zu innovativen Technologien, um von KI im neuen Jahr massiv zu profitieren.

Den Energieverbrauch im Blick behalten

Der Energieverbrauch der im großen Stil betriebenen KI-Umgebungen wird immer wichtiger, während Deep Learning und LLMs im geschäftlichen Produktivbetrieb Einzug halten. Das Thema Nachhaltigkeit und Energieeffizienz gerade bei den rechen- und speicherintensiven KI-Prozessen wird 2024 vielerorts auf der Agenda stehen. Flash macht das Rechenzentrum deutlich effizienter als herkömmliche Speichertechnologie. Angesichts der zunehmenden, besonders ressourcenintensiven KI- und Deep-Learning-Workloads bekommt Flash eine wichtigere Rolle als je zuvor.

Entscheidend für mehr Energieeffizienz bei Flash-Storage sind drei grundlegende Technologien, die erst in den letzten Jahren für die kommerzielle Nutzung interessant wurden: Hyperscale-Flash, Storage Class Memory und Stateless-Container.

Hyperscale-Flash-SSDs haben Flash noch kosteneffizienter gemacht. Eine hohe Speicherdichte stellt Kapazität direkt für die Storage-Anwendungen bereit, ohne Overprovisioning, Dual-Port-Controller, DRAM-Caches und Schutzschaltungen wie bei herkömmlichen SSDs für den Enterprise-Einsatz. Hierbei galt es jedoch, das Problem des Verschleißes von Flash-Speicherzellen bei Löschvorgängen in den Griff zu bekommen. Die Abnutzung der Isolierschicht führte mitunter zu einer reduzierten Lebensdauer von Flash-Speicherzellen mit hoher Bitdichte. Mittlerweile gelang es, durch neue, an die interne Geometrie von kostengünstigen Hyperscale-SSDs anpassbare Datenstrukturen die Abnutzung zu minimieren.

Als zeitgemäßer Medientyp umfasst Storage Class Memory (SCM) mehrere persistente Speichertechnologien und punktet mit einer niedrigen Schreiblatenz und langen Lebensdauer gegenüber NAND-Flash. In einer modernen Storage-Architektur absorbiert SCM als hochleistungsfähiger Puffer Schreibvorgänge, um den Flash-Verschleiß auf ein Minimum zu reduzieren. Somit ermöglichte SCM den Einsatz von kosteneffizientem Hyperscale-Flash als Datenspeicher ebenso wie als globaler Metadatenspeicher.

Stateless-Container beherbergen die Logik eines modernen Storage-Clusters. Jeder Container kann die Leistung eines direkt angeschlossenen Speichers beanspruchen, ohne dass ein direkt angeschlossener Stateful-Speicher erforderlich ist. Möglich wird dies durch Innovationen wie NVMe (Non-volatile Memory Express), NVMe oF (NVMe over Fabrics) und eben SCM. Container machen die Bereitstellung und Skalierung von Storage-Ressourcen als Software-definierter Microservice einfacher. Stateless-Container schaffen die Basis für eine deutlich stabilere Architektur, um den Systembetrieb ohne störende Containerausfälle zu gewährleisten.

Hygiene, Beobachtbarkeit und Kuratierung von Daten gewinnen an Bedeutung

An Bedeutung gewinnen werden 2024 auch die Datenhygiene und die Beobachtbarkeit von Daten (Data Observability). Letztere steht für die Fähigkeit, sich einen Überblick über die Datenlandschaft und mehrschichtige Datenabhängigkeiten zu verschaffen. Die Zuführung sauberer Daten ist für KI-Workflows eine wichtige Voraussetzung. In diesem Zusammenhang wird auch die Datenkuratierung weiterhin eine wichtige Rolle spielen. Hierbei geht es um die Erfassung, Aufbereitung, Definition und Koordination von Daten, bevor diese einer KI-Anwendung zugeführt werden. Nur auf diese Weise kann eine KI-Anwendung genaue Ergebnisse und wertvolle Erkenntnisse liefern.

* Der Autor: Sven Breuner, Field CTO International bei VAST Data

Aktuelles eBook

Storage für HPC & KI

Speichersysteme für das HPC und für die verschiedenen Disziplinen der KI sind hohen Anforderungen ausgesetzt. Denn sie müssen enorme Datenmengen in kürzester Zeit bereitstellen oder sammeln. Wie können diese Herausforderungen gemeistert werden?

Die Themen im Überblick:

• Aktuelle Trends in der Künstlichen Intelligenz
• High-Performance Computing – Explosion der Innovationen
• Künstliche Intelligenz – nahezu Echtzeit-Datenverarbeitung

eBook „Storage für HPC & KI“ kostenlos downloaden

(ID:49850082)