Mobile-Menu

Von der einfachen Frage zu Billionen von Tokens Warum ein persistenter KV-Cache bei der KI-Inferenz entscheidend ist

Ein Gastbeitrag von Giorgio Ippoliti* 4 min Lesedauer

Anbieter zum Thema

Jedes Mal, wenn einem generativen KI-Modell eine scheinbar einfache Frage gestellt wird – etwa „Ist eine Tomate eine Frucht?“ –, wird eine gewaltige Recheninfrastruktur in Gang gesetzt. GPUs laufen an und berechnen in kürzester Zeit eine Antwort. In diesem Fall lautet sie: „Ja, das ist sie.“ Doch hinter den Kulissen verbirgt sich eine erhebliche Komplexität, die diese einfache Antwort erst in dieser Geschwindigkeit möglich macht.

Ein persistenter KV-Cache hält bereits berechneten Kontext auf Flash-Speicher verfügbar. So müssen KI-Modelle weniger neu berechnen. Das kann GPUs entlasten und dazu beitragen, Inferenz bei wachsender Nachfrage effizienter und wirtschaftlicher zu skalieren.(Bild:  KI-generiert)
Ein persistenter KV-Cache hält bereits berechneten Kontext auf Flash-Speicher verfügbar. So müssen KI-Modelle weniger neu berechnen. Das kann GPUs entlasten und dazu beitragen, Inferenz bei wachsender Nachfrage effizienter und wirtschaftlicher zu skalieren.
(Bild: KI-generiert)

Einige Zahlen zur Einordnung: Weltweit gibt es über sechs Milliarden Internetnutzer, und schätzungsweise 1,5 bis 2 Milliarden Menschen interagieren rund um den Globus mit KI. Das tägliche Anfragevolumen ist enorm. China ist das einzige Land, das Daten zur KI-Token-Nutzung erfasst und veröffentlicht. Dort hat die tägliche Token-Nutzung bereits die Marke von 140 Billionen überschritten. Tokens sind kleine Texteinheiten, in die KI-Modelle Sprache zerlegen, um sie zu verstehen und zu erzeugen.

In dieser Größenordnung summieren sich selbst kleine Ineffizienzen zu enormen Kosten und einem hohen Energieaufwand. Genau hier kann die Architektur der KI-Inferenz entscheidend werden.

Prefill und Decoding: Wo die Inferenz an Grenzen stößt

Ein Large Language Model (LLM) wird in der Cloud mit riesigen Datensätzen trainiert und so verfeinert, dass es verlässliche sprachliche Vorhersagen trifft. Im laufenden Betrieb beantwortet das Modell völlig neue Fragen oder verarbeitet Eingaben, die es zuvor nie gesehen hat. Dieser Vorgang wird als Inferenz bezeichnet.

Während der Inferenz verarbeitet das Modell die Eingabe-Tokens und erzeugt innerhalb von Sekunden eine Antwort. Die Inferenz besteht aus zwei Phasen. Die eine hängt von der Rechenleistung ab, die andere vom GPU-Speicher. In der ersten Phase, dem sogenannten Prefill, arbeitet das Modell den Prompt auf und erschließt den Kontext. In der Formulierung „Triff mich auf der Bank im Park“ etwa erkennt es korrekt, dass mit „Bank“ eine Sitzbank gemeint ist und nicht ein Geldinstitut. Diese Phase wird in erster Linie durch die GPU-Rechenleistung begrenzt.

Die zweite Phase, das Decoding, erzeugt die Antwort Token für Token. Sie wird vor allem durch die Kapazität und Bandbreite des GPU-Speichers begrenzt.

Im großen Maßstab, wenn Millionen Menschen gleichzeitig bedient werden, legen diese beiden Phasen grundlegende Grenzen der Infrastruktur offen. Erstens erfordert das Prefill umfangreiche, parallel arbeitende GPU-Ressourcen, die durchgehend mit hoher Auslastung laufen. GPUs sind knapp, teuer und energieintensiv. Zweitens ist das Decoding auf GPU-Speicher mit hoher Kapazität und hoher Bandbreite angewiesen, der ebenfalls kostspielig und begrenzt ist.

Aus diesen Beschränkungen ergibt sich eine zentrale Herausforderung: schnelle und kosteneffiziente KI-Antworten zu liefern, ohne Rechenleistung und GPU-Speicher immer weiter ausbauen zu müssen.

Merken statt neu berechnen: die Rolle des KV-Cache

Hier kommt der KV-Cache (Key-Value-Cache) ins Spiel. Der KV-Cache speichert Zwischenergebnisse der Berechnungen während der Token-Erzeugung und ermöglicht es dem Modell, bereits verarbeiteten Kontext wiederzuverwenden, anstatt ihn neu zu berechnen. Ohne ihn müsste für jedes neue Token die gesamte Eingabesequenz erneut verarbeitet werden, was die Effizienz drastisch verringern würde.

Um das greifbar zu machen, kehren wir zu unserer Ausgangsfrage zurück: „Ist eine Tomate eine Frucht?“ Ein LLM erzeugt seine Antwort schrittweise, ein Token nach dem anderen. Es berechnet „Ja“, rechnet erneut und erzeugt „das“, sodass „Ja, das“ entsteht. Danach folgen „ist“ und schließlich „sie“. Die vollständige Antwort lautet damit: „Ja, das ist sie.“ Jeder dieser Schritte wird in mathematischer Form im KV-Cache gespeichert. Um zu verstehen, warum das wichtig ist, hilft ein Vergleich aus dem Alltag.

Man stelle sich einen Forscher in einer Bibliothek vor, der auf Grundlage eines Nachschlagewerks einen zusammenfassenden Bericht schreibt. Ohne KV-Cache müsste er für jeden neuen Satz das gesamte Buch erneut lesen. Dieses ineffiziente Vorgehen lässt sich vermeiden, wenn er sich das bereits Gelesene merkt. Indem die Zwischenergebnisse aus der Prefill-Phase im KV-Cache gespeichert werden, muss das Modell die vorherigen Tokens nicht neu berechnen. Die GPU wird frei und kann sich auf die Erzeugung neuer Tokens konzentrieren.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Data-Storage und -Management

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Vom flüchtigen zum persistenten KV-Cache

Indem er die Last auf den GPUs reduziert, trägt der KV-Cache zu einer besseren Auslastung bei und hilft dadurch, den stetig wachsenden Energiebedarf zu entschärfen. Ein KV-Cache im GPU-Speicher ist jedoch flüchtig: Er wird nach einer Phase der Inaktivität verworfen, um teure Ressourcen freizugeben.

Der persistente KV-Cache erweitert dieses Konzept, indem er den KV-Cache in nichtflüchtigem Flash-Speicher ablegt. Das kann dazu beitragen, die GPU-Auslastung zu erhöhen, die Kosten pro Anfrage zu senken und den Kontext über mehrere Sitzungen hinweg zu erhalten. Dadurch entsteht ein starkes Argument für Flash-Speicher als Schlüsselkomponente der KI-Infrastruktur.

Der KV-Cache wächst mit der Größe des Modells ebenso wie mit steigendem Datenverkehr und wachsender Zahl an Anfragen. Flash-Speicher in Form von NVMe-SSDs (Solid State Drives) hat sich als gängige Option für die Speicherung des persistenten KV-Cache etabliert.

Die kontinuierliche Weiterentwicklung von Flash-Speicher hat Laufwerke mit hoher Kapazität (bis zu 256 TB) und hoher Leistung hervorgebracht. Sie sind zu einem weit verbreiteten Ansatz für die Speicherung des persistenten KV-Cache geworden. Auf diese Weise trägt Flash-Speicher zur weiteren Verbreitung von KI bei und hilft zugleich, die Energieeffizienz zu verbessern.

Effizienz entscheidet über Skalierung

Da unsere Erwartungen an KI weiter wachsen, steigt auch die Nachfrage nach besseren und schnelleren Antworten – im gewünschten Format und in der gewünschten Sprache. Mit der zunehmenden Verbreitung von KI wird die Effizienz der Infrastruktur über die Skalierbarkeit entscheiden. Was als einfache Frage wie „Ist eine Tomate eine Frucht?“ beginnt, hängt letztlich von Innovationen in den Bereichen Rechenleistung, Arbeitsspeicher und Datenspeicher ab. Der KV-Cache – und insbesondere seine Weiterentwicklung hin zu persistenten Implementierungen – stellt einen bedeutenden Schritt dar, der dazu beitragen kann, KI schneller, effizienter und wirtschaftlich tragfähig zu machen.

* Der Autor: Giorgio Ippoliti, Senior Manager Field Application Engineering EMEAI, Sandisk

(ID:51010909)