Kontextfenster einfach erklärt

Ein Sprachmodell hat kein dauerhaftes Gedächtnis. Bei jeder Anfrage sieht es nur das, was man ihm in diesem Moment mitgibt: die Aufgabe, die Vorgeschichte des Gesprächs, angehängte Dokumente. Die maximale Menge, die dabei hineinpasst, heißt Kontextfenster und wird in Token gemessen. Aktuelle Modelle verarbeiten einige hunderttausend Token, das entspricht mehreren hundert Seiten Text. Ältere oder kleinere Modelle deutlich weniger.

Warum das im Unternehmen eine Rolle spielt

Die Zahl klingt groß, bis man sie mit einem Unternehmensarchiv vergleicht. Ein DMS mit 50.000 Dokumenten passt in kein Kontextfenster. Ein Ticketsystem mit zehn Jahren Historie auch nicht. Deshalb gibt man dem Modell nicht alles, sondern sucht vorher die Abschnitte heraus, die zur Frage passen, und legt nur diese ins Fenster. Dieses Verfahren heißt RAG und nutzt Embeddings, um die passenden Stellen zu finden.

Ein Beispiel aus dem Alltag

Ein Servicetechniker fragt den Wissensassistenten nach dem Drehmoment für eine Schraubverbindung an einer bestimmten Maschinenbaureihe. Die gesamte Dokumentation des Unternehmens umfasst 30.000 Seiten. Das System sucht die fünf Abschnitte, die zur Frage passen, zusammen etwa drei Seiten, und gibt sie dem Modell ins Kontextfenster. Das Modell antwortet aus genau diesen drei Seiten und nennt die Quelle. Würde man versuchen, alle 30.000 Seiten mitzugeben, würde die Anfrage scheitern oder sehr teuer.

Was Sie daraus mitnehmen

Das Kontextfenster ist eine technische Grenze, die gute Lösungen durch kluge Auswahl umgehen. Ein Anbieter, der verspricht, das Modell „kenne alle Ihre Dokumente“, meint in Wahrheit eine Suche davor. Ob diese Suche gut ist, entscheidet über die Qualität der Antworten weit mehr als die Größe des Fensters.