Kolik toho model udrží v hlavě najednou. Podobný jako krátkodobá paměť vývojáře, jen měřený v tokenech.
Kontextové okno je množství textu, který jazykovej model udrží v hlavě najednou - měří se v tokenech a patří k nejdůležitějším parametrům při práci s LLM. Co se do okna nevejde, model prostě neví, i kdyby to bylo v souboru hned vedle.
Funguje to nápadně podobně jako krátkodobá paměť vývojáře po čtvrtým potahu: dokud je všechno relevantní v okně, jede se skvěle. Pak někdo otevře dvacátej soubor a začnou halucinace. Proto se kontext spravuje, ne hromadí.