Kurzzeitgedächtnis eines LLM Was ist ein Kontextfenster / Context Window?

Ein Kontextfenster ist die Menge an Text beziehungsweise Informationen, die ein großes Sprachmodell in einer Interaktion berücksichtigen und verarbeiten kann. Es stellt quasi das Arbeits- oder Kurzzeitgedächtnis der Künstlichen Intelligenz dar. Das Kontextfenster wird in Token gemessen und kann bei modernen Sprachmodellen über eine Million Token groß sein. Größere Kontextfenster ermöglichen in der Regel qualitativ hochwertigere Antworten, erfordern aber auch mehr Rechenleistung.

Kontextfenster, im Englischen context window genannt, ist ein Begriff aus dem Bereich der Künstlichen Intelligenz. Es handelt sich dabei um die maximale Menge an Text beziehungsweise Informationen, die ein großes Sprachmodell (Large Language Model, LLM) bei einer einzigen Anfrage gleichzeitig berücksichtigen und verarbeiten kann. Während das beim Training des Modells erworbene Wissen dauerhaft ist, stellt das Kontextfenster gewissermaßen das Arbeits- oder Kurzzeitgedächtnis des Sprachmodells dar.

Das Kontextfenster begrenzt, wie viele Informationen in Form beispielsweise von Gesprächsverläufen oder Dokumenten bei der Generierung einer Antwort einbezogen werden können. Informationen außerhalb des Kontextfensters können bei der Generierung einer Antwort nicht direkt berücksichtigt werden und existieren für das Sprachmodell quasi nicht. Fallen Informationen aus dem Kontextfenster heraus, vergisst sie das Sprachmodell gewissermaßen.

Die Größe des Kontextfensters wird in Token gemessen. Ein Token ist eine vom jeweiligen Tokenizer bestimmte Texteinheit, beispielsweise ein Wort, ein Wortteil, eine Zahl, ein Satzzeichen oder ein einzelnes Zeichen. Im Englischen entspricht ein Token als Faustregel etwa vier Zeichen oder 0,75 Wörtern. Für andere Sprachen ergeben sich andere Werte. Durch die großen Fortschritte im Bereich der generativen KI hat sich über die letzten Jahre das Kontextfenster von Sprachmodellen kontinuierlich vergrößert. Arbeiteten frühere große Sprachmodelle noch mit Kontextfenstern von wenigen Tausend Token (wenigen Seiten Text), haben aktuelle Sprachmodelle Kontextfenster von mehreren Hunderttausend bis über einer Million Token und können mehrere hundert Seiten Text für eine einzige Anfrage verarbeiten.

Welche Inhalte kann ein Kontextfenster haben?

Das Kontextfenster wird von verschiedenen Inhalten belegt. Dazu zählen:

• die aktuelle Anfrage,

• System-Prompts (für den Nutzer nicht sichtbare Grundregeln oder Rollenanweisungen des Modellanbieters),

• bisheriger Gesprächsverlauf,

• bereitgestellte Dokumente, Dateien oder Quelltexte,

• bei RAG-Systemen die gefundenen Textstellen aus einer Wissensdatenbank,

• die generierte Antwort.

Welche Bedeutung hat die Größe des Kontextfensters?

Grundsätzlich sollten alle Informationen, die für die Bearbeitung einer Anfrage für das Modell relevant und nicht in dem durch Training erworbenen dauerhaften Wissen des Modells vorhanden sind, in das Kontextfenster passen. Je mehr Kontext dem Modell mitgegeben werden kann, desto passendere und hochwertigere Antworten kann es liefern. Die Antworten können dadurch genauer und kohärenter werden, während Halluzinationen möglicherweise abnehmen.

Mehr Kontext muss aber nicht zwingend besser sein. Es gibt auch Effekte, beispielsweise den Lost-in-the-Middle-Effekt und andere, durch die mit steigender Token-Anzahl im Kontextfenster die Genauigkeit der Antworten und die Leistung des Modells wieder abnehmen. Hinzu kommt, dass größere Kontextfenster höhere Anforderungen an die Rechenleistung stellen und damit zu höheren Kosten pro Anfrage oder zu längeren Antwortzeiten führen.

(ID:50975814)