Jedes Mal, wenn einem generativen KI-Modell eine scheinbar einfache Frage gestellt wird – etwa „Ist eine Tomate eine Frucht?“ –, wird eine gewaltige Recheninfrastruktur in Gang gesetzt. GPUs laufen an und berechnen in kürzester Zeit eine Antwort. In diesem Fall lautet sie: „Ja, das ist sie.“ Doch hinter den Kulissen verbirgt sich eine erhebliche Komplexität, die diese einfache Antwort erst in dieser Geschwindigkeit möglich macht.
Ein persistenter KV-Cache hält bereits berechneten Kontext auf Flash-Speicher verfügbar. So müssen KI-Modelle weniger neu berechnen. Das kann GPUs entlasten und dazu beitragen, Inferenz bei wachsender Nachfrage effizienter und wirtschaftlicher zu skalieren.
(Bild: KI-generiert)
Einige Zahlen zur Einordnung: Weltweit gibt es über sechs Milliarden Internetnutzer, und schätzungsweise 1,5 bis 2 Milliarden Menschen interagieren rund um den Globus mit KI. Das tägliche Anfragevolumen ist enorm. China ist das einzige Land, das Daten zur KI-Token-Nutzung erfasst und veröffentlicht. Dort hat die tägliche Token-Nutzung bereits die Marke von 140 Billionen überschritten. Tokens sind kleine Texteinheiten, in die KI-Modelle Sprache zerlegen, um sie zu verstehen und zu erzeugen.
In dieser Größenordnung summieren sich selbst kleine Ineffizienzen zu enormen Kosten und einem hohen Energieaufwand. Genau hier kann die Architektur der KI-Inferenz entscheidend werden.
Prefill und Decoding: Wo die Inferenz an Grenzen stößt
Ein Large Language Model (LLM) wird in der Cloud mit riesigen Datensätzen trainiert und so verfeinert, dass es verlässliche sprachliche Vorhersagen trifft. Im laufenden Betrieb beantwortet das Modell völlig neue Fragen oder verarbeitet Eingaben, die es zuvor nie gesehen hat. Dieser Vorgang wird als Inferenz bezeichnet.
Während der Inferenz verarbeitet das Modell die Eingabe-Tokens und erzeugt innerhalb von Sekunden eine Antwort. Die Inferenz besteht aus zwei Phasen. Die eine hängt von der Rechenleistung ab, die andere vom GPU-Speicher. In der ersten Phase, dem sogenannten Prefill, arbeitet das Modell den Prompt auf und erschließt den Kontext. In der Formulierung „Triff mich auf der Bank im Park“ etwa erkennt es korrekt, dass mit „Bank“ eine Sitzbank gemeint ist und nicht ein Geldinstitut. Diese Phase wird in erster Linie durch die GPU-Rechenleistung begrenzt.
Die zweite Phase, das Decoding, erzeugt die Antwort Token für Token. Sie wird vor allem durch die Kapazität und Bandbreite des GPU-Speichers begrenzt.
Im großen Maßstab, wenn Millionen Menschen gleichzeitig bedient werden, legen diese beiden Phasen grundlegende Grenzen der Infrastruktur offen. Erstens erfordert das Prefill umfangreiche, parallel arbeitende GPU-Ressourcen, die durchgehend mit hoher Auslastung laufen. GPUs sind knapp, teuer und energieintensiv. Zweitens ist das Decoding auf GPU-Speicher mit hoher Kapazität und hoher Bandbreite angewiesen, der ebenfalls kostspielig und begrenzt ist.
Aus diesen Beschränkungen ergibt sich eine zentrale Herausforderung: schnelle und kosteneffiziente KI-Antworten zu liefern, ohne Rechenleistung und GPU-Speicher immer weiter ausbauen zu müssen.
Merken statt neu berechnen: die Rolle des KV-Cache
Hier kommt der KV-Cache (Key-Value-Cache) ins Spiel. Der KV-Cache speichert Zwischenergebnisse der Berechnungen während der Token-Erzeugung und ermöglicht es dem Modell, bereits verarbeiteten Kontext wiederzuverwenden, anstatt ihn neu zu berechnen. Ohne ihn müsste für jedes neue Token die gesamte Eingabesequenz erneut verarbeitet werden, was die Effizienz drastisch verringern würde.
Um das greifbar zu machen, kehren wir zu unserer Ausgangsfrage zurück: „Ist eine Tomate eine Frucht?“ Ein LLM erzeugt seine Antwort schrittweise, ein Token nach dem anderen. Es berechnet „Ja“, rechnet erneut und erzeugt „das“, sodass „Ja, das“ entsteht. Danach folgen „ist“ und schließlich „sie“. Die vollständige Antwort lautet damit: „Ja, das ist sie.“ Jeder dieser Schritte wird in mathematischer Form im KV-Cache gespeichert. Um zu verstehen, warum das wichtig ist, hilft ein Vergleich aus dem Alltag.
Man stelle sich einen Forscher in einer Bibliothek vor, der auf Grundlage eines Nachschlagewerks einen zusammenfassenden Bericht schreibt. Ohne KV-Cache müsste er für jeden neuen Satz das gesamte Buch erneut lesen. Dieses ineffiziente Vorgehen lässt sich vermeiden, wenn er sich das bereits Gelesene merkt. Indem die Zwischenergebnisse aus der Prefill-Phase im KV-Cache gespeichert werden, muss das Modell die vorherigen Tokens nicht neu berechnen. Die GPU wird frei und kann sich auf die Erzeugung neuer Tokens konzentrieren.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.
Vom flüchtigen zum persistenten KV-Cache
Indem er die Last auf den GPUs reduziert, trägt der KV-Cache zu einer besseren Auslastung bei und hilft dadurch, den stetig wachsenden Energiebedarf zu entschärfen. Ein KV-Cache im GPU-Speicher ist jedoch flüchtig: Er wird nach einer Phase der Inaktivität verworfen, um teure Ressourcen freizugeben.
Der persistente KV-Cache erweitert dieses Konzept, indem er den KV-Cache in nichtflüchtigem Flash-Speicher ablegt. Das kann dazu beitragen, die GPU-Auslastung zu erhöhen, die Kosten pro Anfrage zu senken und den Kontext über mehrere Sitzungen hinweg zu erhalten. Dadurch entsteht ein starkes Argument für Flash-Speicher als Schlüsselkomponente der KI-Infrastruktur.
Der KV-Cache wächst mit der Größe des Modells ebenso wie mit steigendem Datenverkehr und wachsender Zahl an Anfragen. Flash-Speicher in Form von NVMe-SSDs (Solid State Drives) hat sich als gängige Option für die Speicherung des persistenten KV-Cache etabliert.
Die kontinuierliche Weiterentwicklung von Flash-Speicher hat Laufwerke mit hoher Kapazität (bis zu 256 TB) und hoher Leistung hervorgebracht. Sie sind zu einem weit verbreiteten Ansatz für die Speicherung des persistenten KV-Cache geworden. Auf diese Weise trägt Flash-Speicher zur weiteren Verbreitung von KI bei und hilft zugleich, die Energieeffizienz zu verbessern.
Effizienz entscheidet über Skalierung
Da unsere Erwartungen an KI weiter wachsen, steigt auch die Nachfrage nach besseren und schnelleren Antworten – im gewünschten Format und in der gewünschten Sprache. Mit der zunehmenden Verbreitung von KI wird die Effizienz der Infrastruktur über die Skalierbarkeit entscheiden. Was als einfache Frage wie „Ist eine Tomate eine Frucht?“ beginnt, hängt letztlich von Innovationen in den Bereichen Rechenleistung, Arbeitsspeicher und Datenspeicher ab. Der KV-Cache – und insbesondere seine Weiterentwicklung hin zu persistenten Implementierungen – stellt einen bedeutenden Schritt dar, der dazu beitragen kann, KI schneller, effizienter und wirtschaftlich tragfähig zu machen.
* Der Autor: Giorgio Ippoliti, Senior Manager Field Application Engineering EMEAI, Sandisk