Paměť, která přetrvává: Jak si agenti pamatují napříč sessions

Kontext je jen to, co model vidí v tomto tahu, a ve výchozím stavu nemá žádnou paměť nad tento rámec. To vyvolává očividnou otázku: pokud session skončí, nebo je kvůli úspoře místa shrnuta pryč, je opravdu vše ztraceno? U dobře navrženého agentního systému zní odpověď ne — ale jen proto, že paměť je řešena jako záměrně oddělený mechanismus od kontextu, ne jako vedlejší efekt dostatečně dlouhé konverzace.

Paměť je jiná osa než kontext

Je užitečné být přesný v tom, co trvalá paměť řeší, protože se snadno zaměňuje s izolací kontextu — obě věci vypadají povrchně podobně, ale řeší různé problémy. Izolace se týká toho, aby sourozenecké procesy neviděly navzájem svůj nepořádek v rámci jedné session: revizor a autor pracující ve stejnou dobu, drženi odděleně, aby jeden nekontaminoval druhého. Paměť se týká toho, aby si session pamatovala svou vlastní minulost napříč časem: zapisování klíčových faktů, rozhodnutí a výsledků do trvalého úložiště mimo konverzační okno, aby si budoucí session — o hodiny, dny nebo týdny později — mohla vybavit historii, která by jinak byla ztracena ve chvíli, kdy je původní konverzace shrnuta nebo zahozena.

Jak to funguje v praxi

Mechanismus je jednoduché popsat: agentní session dospěje k nějakému rozhodnutí nebo výsledku, který stojí za zapamatování, zapíše tento fakt do trvalého úložiště mimo konverzaci a pozdější session z tohoto úložiště čte před vlastním uvažováním nebo během něj — efektivně si vybaví předchozí historii, která nikdy nemusela přežít uvnitř jediného kontextového okna. Tato smyčka — rozhodnout, zapsat, vybavit — je to, co umožňuje agentovi chovat se, jako by měl paměť přesahující sessions.

Tři věci, které vám trvalá paměť skutečně dává

Za prvé přežije resety kontextu: protože paměť žije zcela mimo konverzační okno, je imunní vůči ořezání, shrnutí nebo prostému ukončení konverzace. Za druhé umožňuje reflexi: systém, který si zaznamenal "rozhodli jsme se pro X kvůli Y", může později toto původní rozhodnutí porovnat s tím, co se skutečně stalo — základ jakékoliv smyčky učení se z výsledků. Za třetí chrání klíčové fakty před ztrátovou kompresí: důležité detaily, které by jinak byly v riziku shrnutí pryč, jsou místo toho připnuty někam, kam shrnování nikdy nesahá.

Praktickou návrhovou výzvou je rozhodnout, co do tohoto trvalého úložiště patří a co ne. Ne všechno, co stojí za to v konverzaci říct, stojí za to si pamatovat navždy — systém, který zapisuje každý detail do trvalé paměti, rychle nahromadí šum, kterým se prohrabávat je stejně těžké jako příliš dlouhým kontextovým oknem. Užitečnou disciplínou je zapisovat fakta, rozhodnutí a výsledky spíše než surový přepis konverzace: závěr, ke kterému agent dospěl, uvažování, na kterém záleželo, a — klíčově — co se pak skutečně stalo, aby další session zdědila úsudek, ne jen data.