Pamięć w agentach AI: co zachować, sprężyć i wyrzucić
W wywołaniu modelu nie ma pamięci. Każda tura to nowe żądanie, a model wie tylko to, co złożyliście tym razem. Wszystko, co ludzie opisują jako zapominanie agenta albo pogarszanie się przy długim przebiegu, jest decyzją waszego kodu o tym, co zabrać ze sobą.
Gdy to przyjmiecie, projekt pamięci staje się zwykłym problemem inżynierskim: co jest zawsze trafne, co trafne niedawno, co da się streścić i co lepiej pobrać na świeżo niż przechowywać.
Cztery warstwy#
| Warstwa | Zawartość | Przycinana? | Typowy rozmiar |
|---|---|---|---|
| Przypięta | Cel, ograniczenia, tożsamość, polityka | Nigdy | 200–500 tokenów |
| Ostatnia | Ostatnie tury dosłownie, z wynikami | Okno przesuwne | 2–5 tur |
| Sprężona | Starsze tury jako krótkie notatki faktograficzne | Przepisywana przy wzroście | Poniżej 500 tokenów |
| Przywołana | Dokumenty pobrane dla tego kroku | Odrzucane po użyciu | Na krok |
Sprężajcie fakty, nie prozę#
Typowy błąd to streszczanie starych tur jako opowieści — klientka zapytała o zamówienie, a agent sprawdził. Czyta się dobrze i nie pomaga. Sprężajcie do faktów, których może potrzebować późniejszy krok: zamówienie 4471, status wysłane, zażądano zwrotu, polityka 30 dni, zwrotu jeszcze nie wykonano.
Sprężajcie na progu, nie w każdej turze.
Przywoływanie to nie pamiętanie#
Dokumenty pobrane z bazy wiedzy należą do kroku, który ich potrzebował. Trzymanie ich w kontekście po tym kroku to najkrótsza droga do rozdętego, drogiego i rozproszonego przebiegu.
Pamięć trwała między sesjami#
Długowieczni agenci gromadzą naprawdę użyteczne fakty o osobie lub koncie. Zapisujcie je świadomie, w małym rekordzie strukturalnym z jawnym krokiem zapisu. Trzy zasady utrzymują to w zdrowiu: zapisujcie tylko fakty, na których zadziałałby przyszły przebieg, zawsze notujcie pochodzenie i nadajcie każdemu faktowi datę ważności.
- Zapisujcie świadomie — jako wywołanie narzędzia, nie efekt uboczny.
- Trzymajcie źródło i datę obok każdego faktu.
- Ograniczcie rozmiar i wygaszajcie nieużywane.
- Pozwólcie użytkownikowi zobaczyć i poprawić to, co o nim zapisano.
Najczęstsze pytania
Ile historii trzymać dosłownie?
Trzy do pięciu tur pokrywa większość rozumowania bez dominowania kontekstu.
Czy do pamięci potrzebna jest baza wektorowa?
Do pobierania dokumentów często tak. Do bieżącego stanu jednego przebiegu nie.
Jak nie dopuścić do zwietrzenia pamięci trwałej?
Nadajcie każdemu faktowi źródło, datę i ważność, a świeżo przywołane dane niech mają pierwszeństwo.
pamięć agentów aizarządzanie kontekstemstreszczanie rozmowypamięć trwałaokno kontekstu llm
