Co je "kontext" u AI agenta — a proč dochází?

Kontext je vše, co model vidí v aktuálním tahu — nic víc. Nemá žádnou paměť nad rámec toho, co má právě teď před sebou: ne to, co "ví" z trénování, ne to, co se stalo před třemi sessions, pokud tuto historii něco nezapsalo zpět do aktuálního okna, a ne to, co dělá sourozenecký proces jinde v systému. Je to zdánlivě jednoduchá definice, a celá disciplína návrhu agentů je z velké části disciplínou řízení toho, co se do tohoto okna dostane a co ne.

Co skutečně naplňuje okno

V daném tahu se kontext agenta typicky skládá ze čtyř druhů materiálu: systémových nebo projektových instrukcí nastavujících standardní chování, schémat všech nástrojů a MCP serverů, ke kterým má agent přístup (bez ohledu na to, zda je v daném tahu vůbec zavolá), historie konverzace nashromážděné doposud, a jakéhokoliv obsahu načteného nebo vloženého speciálně pro tento krok. Všechny čtyři soupeří o stejný konečný prostor a jsou modelu viditelné najednou — efektivní pro kontinuitu, ale s reálnou cenou.

Tato cena nastavuje problém, kterému se v této sérii věnujeme hlouběji jinde: dvě různé úlohy umístěné do stejného sdíleného kontextu vidí navzájem svou práci. Revizor, který sdílí stejný kontext jako práce, kterou reviduje, zdědí slepá místa této práce, protože se dívá na stejné důkazy stejnou optikou — někdy nazývaný problém "slepého review", a přímá motivace pro izolaci kontextu.

Proč má okno limity — a proč je velikost sama nevyřeší

Moderní modely nabízejí velmi velká kontextová okna — v mnoha případech dobře přes 200 000 tokenů — a je lákavé brát tuto kapacitu jako prakticky neomezenou. Není, a to ze dvou samostatných důvodů. První je mechanický: každý token kontextu musí být zaplacen a zpracován v každém tahu, takže nafouklý kontext je pomalejší a dražší bez ohledu na to, jak dobře nad ním model uvažuje.

Druhý důvod je subtilnější a důležitější: ředění pozornosti, někdy nazývané efekt "ztraceno uprostřed". Je to změřený jev, ne mávnutí rukou — informace umístěná uprostřed dlouhého kontextu je vybavena méně spolehlivě než informace umístěná blízko začátku nebo konce, bez ohledu na to, kolik nevyužitého prostoru v okně zbývá. Fakt zahrabaný uprostřed dlouhého dokumentu skutečně méně pravděpodobně ovlivní odpověď modelu než tentýž fakt umístěný na samotném začátku nebo konci.

Co z toho plyne

Jakmile se toto omezení bere vážně, přirozeně z něj plynou tři zmírnění, z nichž každé se v různé podobě vrací v celé této sérii: dát subagentovi vlastní čistý, ohraničený kontext místo napěchování všeho do jednoho sdíleného okna; provádět více, užších průchodů problémem místo jednoho obřího; a načítat jen ten konkrétní, cílený obsah, který daný krok skutečně potřebuje, místo rozšiřování surové velikosti kontextu a doufání, že model najde jehlu v kupce sena. Žádná z těchto technik nezvětšuje kontextové okno. Všechny lépe využívají okno, které už existuje — což se, jakmile je ředění pozornosti pochopeno, ukazuje být ve většině praktických situací důležitější než surová kapacita.