Memori pada AI Agent: Apa yang Disimpan, Diringkas, dan Dibuang
Dalam satu panggilan model tidak ada memori. Tiap giliran adalah permintaan baru, dan model hanya tahu apa yang Anda susun kali ini. Semua yang orang gambarkan sebagai agent yang lupa, atau memburuk sepanjang eksekusi panjang, adalah keputusan yang diambil kode Anda tentang apa yang dibawa.
Setelah itu diterima, desain memori menjadi masalah enjiniring biasa: apa yang selalu relevan, apa yang relevan baru-baru ini, apa yang bisa diringkas, dan apa yang lebih baik diambil segar daripada disimpan.
Empat lapis#
| Lapis | Isi | Dipangkas? | Ukuran khas |
|---|---|---|---|
| Disematkan | Tujuan, batasan, identitas, kebijakan | Tidak pernah | 200–500 token |
| Terkini | Beberapa giliran terakhir apa adanya | Jendela bergulir | 2–5 giliran |
| Terkompresi | Giliran lama sebagai catatan faktual | Ditulis ulang saat membesar | Di bawah 500 token |
| Terambil | Dokumen untuk langkah ini | Dibuang setelah dipakai | Per langkah |
Kompres fakta, bukan prosa#
Kesalahan biasa adalah meringkas giliran lama sebagai narasi — pelanggan menanyakan pesanannya dan agent memeriksanya. Itu enak dibaca dan tak membantu. Kompres ke fakta yang mungkin dibutuhkan langkah berikutnya: pesanan 4471, status dikirim, pengembalian dana diminta, kebijakan 30 hari, belum dikembalikan.
Kompres pada ambang tertentu, bukan tiap giliran. Meringkas ringkasan berulang kali membuat detail hilang diam-diam.
Mengambil bukan mengingat#
Dokumen yang ditarik dari basis pengetahuan milik langkah yang membutuhkannya. Menyimpannya di konteks setelah langkah itu selesai adalah jalan tercepat menuju eksekusi yang membengkak, mahal, dan buyar. Ambil, pakai, kutip, buang.
Memori yang bertahan antar sesi#
Agent berumur panjang mengumpulkan fakta yang benar-benar berguna tentang pengguna atau akun. Simpan dengan sengaja dalam catatan kecil terstruktur dengan langkah tulis eksplisit. Tiga aturan menjaganya sehat: tulis hanya fakta yang akan ditindaklanjuti eksekusi mendatang, selalu catat asalnya, dan beri tiap fakta tanggal kedaluwarsa.
- Tulis dengan sengaja — sebagai panggilan alat, bukan efek samping.
- Simpan sumber dan tanggal di samping tiap fakta.
- Batasi ukurannya dan kedaluwarsakan yang tak dipakai.
- Biarkan pengguna melihat dan mengoreksi apa yang disimpan tentangnya.
Pertanyaan yang sering diajukan
Berapa banyak riwayat disimpan apa adanya?
Tiga sampai lima giliran mencakup sebagian besar penalaran tanpa mendominasi konteks.
Perlukah basis data vektor untuk memori agent?
Untuk mengambil dokumen sering kali ya. Untuk state satu eksekusi, tidak — itu objek kecil terstruktur di penyimpanan Anda.
Bagaimana mencegah memori permanen menjadi basi?
Beri tiap fakta sumber, tanggal, dan kedaluwarsa, dan buat agent mengutamakan data yang baru diambil.
memori agent aimanajemen konteksringkasan percakapanmemori permanenjendela konteks llm
