Canlıya Ulaşan Bir Ajan Geliştirme Yol Haritası
Ajan projelerinin başarısızlık deseni teknik değil. Üçüncü haftada iyi bir prototip, ardından üç ay yönsüz iyileştirme, ardından hazır olup olmadığını kimse söyleyemediği için sessiz bir iptal.
Bu yol haritası bunu çıkış sınavlarıyla düzeltiyor. Her fazın, faz başlamadan önce yazılmış, ya karşılanan ya karşılanmayan bir koşulu var. Bir faz sınavını geçemiyorsa ya somut boşluğu düzeltirsiniz ya durursunuz — ve ikisi de sürüklenmekten iyi sonuçlardır.
Faz 1 — Kapsamla (1–2 hafta)#
Görevi, bir gözden geçirenin doğru ya da yanlış işaretleyebileceği bir cümle olarak yazın. Araçları argüman şemalarıyla listeleyin. Hangi eylemlerin geri alınamaz olduğuna ve insan kapısının arkasında duracağına karar verin. Kayıtlardan ya da bugün bu işi yapan kişiden, zor olanlar da dahil yirmi gerçek örnek toplayın.
Çıkış sınavı: toplantılarda olmayan bir meslektaş brief'i okuyup beş örnek koşuyu doğru notlayabiliyor.
Faz 2 — Prototiple (2–3 hafta)#
Görevi test ortamındaki gerçek araçlarla yapan en küçük döngüyü kurun. Kaçınabiliyorsanız henüz framework kararı vermeyin; elle yazılmış bir döngü, gerçekte neye ihtiyacınız olduğunu öğretir. Yirmi vakanızı koşturun, her hatayı inceleyin ve seçim sizdeyse prompt'u değil araç tasarımını düzeltin.
Çıkış sınavı: yirmi vakanın %60'ı uçtan uca geçiyor ve her hatanın yanına belirlenmiş bir sebep yazılmış.
Faz 3 — Sağlamlaştır (3–5 hafta)#
Gerçek işin çoğu burada ve az bütçelenen projeler burada ölüyor. Son kullanıcı kimliğiyle yetkiler, geri alınamaz eylemlerde onay kapıları, argüman doğrulama, okuyabileceğiniz izleme, birkaç davranışsal metrikle izleme, saldırgan vakalar dahil elli vakaya büyütülmüş değerlendirme seti ve sağlayıcı bozulduğunda devreye girecek bir geri çekilme modu.
- Her araç çağrısında sunucu tarafında kontrol edilen yetkilendirme.
- Geri alınamaz her eylemin önünde, karar vermeye hazır bağlamla insan kapısı.
- Adım ve harcama sınırları, artı tekrar tespiti.
- Her çağrıda koşu kimliği olan izler ve bilerek verilmiş bir saklama kararı.
- Değerlendirme setinde, diğer testler gibi koşturulan saldırgan vakalar.
Çıkış sınavı: değerlendirme setinde %85, reddetme alt kümesinde %100 ve çözülmemiş güvenlik bulgusu yok.
Faz 4 — Yayınla (2 hafta, sonra sürekli)#
Sınırlı bir kitleyle başlayın — tek bir ekip, tek bir müşteri segmenti ya da trafiğin bir yüzdesi. Koşuları her gün okuyun. Devir yolunu görünür ve insanlı tutun; çünkü değerlendirme seti ne kadar iyi olursa olsun ilk hafta sürprizler üretir. Takvim öyle dediği için değil, sayılar iki hafta üst üste tuttuğu için genişletin.
| Hafta | Kitle | Neye bakıyorsunuz |
|---|---|---|
| 1 | Yalnız iç ekip | İzler, bariz hatalar, araç hataları |
| 2 | Gerçek trafiğin %5'i | Devir oranı, başarı oranı |
| 3–4 | %25 | Görev başına maliyet, zirvede gecikme |
| 5+ | Sayılar tutuyorsa tamamı | Kayma, yeni istek türleri |
Yayından sonra ne olur#
Ajan bir projedir değil, bir servistir. Biri sahiplenir, değerlendirme seti gerçek trafikten büyümeye devam eder, sağlayıcılar emekli ettikçe model sürümleri yeniden onaylanır ve kanıt biriktikçe insan kapıları seçerek kaldırılır. İlk dört fazı planlayıp ötesini planlamayan ekipler, ekimde mükemmel olup marta gelindiğinde sessizce yanlış olan bir ajanla kalıyor.
Sık sorulan sorular
Üç günde çalışan bir demo için on iki hafta uzun geliyor.
Demo gerçekten çalıştı. Kalan dokuz hafta yetkiler, değerlendirme, izleme ve hata yollarıdır — gerçek müşterilere emanet edilip edilemeyeceğine karar veren şeyler. Bunları atlamak işi ortadan kaldırmaz; olaydan sonrasına taşır.
Fazlar çakışabilir mi?
Sağlamlaştırma prototip sırasında başlayabilir ve yetkiler için genelde başlamalı. Sağlamlaştırma çıkış sınavı geçmeden yayına başlamayın: onay kapısı olmayan sınırlı bir yayın sınırlı risk değil, sınırsız riskin küçük bir örneğidir.
Prototip çıkış sınavını geçemezse?
Yazdığınız sebeplere bakın. Araç tasarımı ve veri erişimiyse düzeltin — bu normaldir. Görev, kimsenin tanımlayamadığı bir muhakeme gerektiriyorsa durun. Beşinci haftada durmak iyi bir sonuçtur; yedinci ayda durmak pahalı bir sonuçtur.
ajan yol haritasıajan proje planıllm proje fazlarıai teslim takvimiajan yayın kontrol listesi
