Canlıda Ajan İzleme: Ne Kaydedilir, Neye Uyarı Kurulur
Geleneksel bir servis, hızlı yanıt veriyor ve hata fırlatmıyorsa sağlıklıdır. Bir ajan ikisini de yaparken tamamen yanlış olabilir — her istek iki saniyede cevaplanır ve her biri mart ayında geri çekilmiş bir politikayı alıntılar.
Bu yüzden ajan izleme farklı bir disiplindir. İki şeye dayanır: ne olduğunu yeniden kurmaya yetecek ayrıntıda her koşunun izi ve hareketi bir anlam taşıyan küçük bir davranışsal metrik seti. Gerisi süstür.
İşe yarar bir iz neler içerir#
- Her log satırına, model çağrısına ve dış isteğe iliştirilmiş bir koşu kimliği.
- Her adımda modele gönderilen tam bağlam ya da bir özet artı birleştirilen parçalar.
- Argümanları, sonucu, süresi ve çıktısıyla her araç çağrısı.
- Çağrı başına model adı ve sürümü, artı token sayıları.
- Durma sebebi: tamamlandı, adım sınırı, harcama sınırı, insan kapısı, hata.
- Son çıktı ve bir insanın sonradan düzeltip düzeltmediği ya da geri alıp almadığı.
Gerçekten hareket eden altı metrik#
| Metrik | Neye bakılır | Genelde şu demektir |
|---|---|---|
| Görev başarı oranı | Süregelen düşüş | Model değişimi, veri kayması, üst API değişimi |
| Koşu başına adım | Yavaş yükseliş | Araç hataları yeniden deneniyor; getirim bozulmuş |
| Araç bazında hata oranı | Tek araçta sıçrama | Üst sistem bozuk — ajan sorunu değil |
| İnsan müdahale oranı | Yükseliş | Güven düşüyor ya da yeni bir istek türü var |
| Dayanaksız iddia oranı | Herhangi bir artış | Getirim sessizce bozuluyor |
| Tamamlanan görev başına maliyet | Hacim sabitken artış | Bağlam şişmesi ya da fazladan tekrar |
Yalnız hataya değil davranışa uyarı kurun#
Bir ajan nadiren gürültüyle bozulur. Bozulması kayarak olur: biraz daha fazla adım, biraz daha fazla tekrar, biraz daha fazla devir ve bir sabah bayat belgelerden cevap veriyordur. Mutlak eşikler yerine kayan pencerede değişim hızına uyarı kurun — koşu başına adımın hafta bazında %30 artması gerçek bir sinyaldir, tek bir sekiz adımlı koşu değildir. Her uyarıyı temsilî bir koşunun iziyle eşleyin; çünkü kimsenin inceleyemediği uyarı hızla herkesin sustuğu uyarıya döner.
Her gün gerçek koşuları örnekleyin ve okuyun#
Hiçbir gösterge panosu okumanın yerine geçmez. Günde birkaç koşu seçin — birkaç başarı, her devir, sınıra çarpan her koşu — ve baştan sona okuyun. Canlı bir ajanda bulduğumuz her ciddi problem, metrikte görünmeden önce izde görünüyordu. Okuyan kişiyi dönüşümlü yapın; prompt'u yazan kişi, onun ne yanlış yaptığını fark etme ihtimali en düşük olandır.
Bulduğunuz şaşırtıcı her şeyi aynı gün değerlendirme setine ekleyin. İzlemeyi gözlem olmaktan çıkarıp iyileştirmeye çeviren alışkanlık budur.
Toplamamanız gerekeni toplamadan kaydetmek#
İzler yapısı gereği müşteri verisi içerir. Kimlikleri sonraki bir işte değil kayıt anında maskeleyin, tam bağlamlara metriklerden daha kısa bir saklama süresi verin ve kişisel verinin yoğunlaştığı yer olan araç argümanlarını, altındaki sistemle aynı erişim denetimlerinde tutun. İşe yarayabilir diye her şeyi sonsuza kadar saklamak, bir izleme projesinin uyum bulgusuna dönüşme biçimidir.
Sık sorulan sorular
Tam izleri ne kadar saklamalıyım?
Hata ayıklamaya ve denetim ihtiyaçlarına yetecek kadar — tam bağlamlar için yaygın olarak 30–90 gün; metrikler ve sonuç özetleri çok daha uzun. Süreyi bilerek belirleyin, çünkü bu kayıtlar kullanıcılarınızın yazdığı her şeyi içerir.
En değerli tek uyarı hangisi?
Devirlerde ya da insan düzeltmelerinde artış. Davranışın kaydığına dair en erken dürüst sinyaldir ve doğruluğun aksine etiketleme gerektirmez — kullanıcılarınız ve operatörleriniz ajanı bedavaya notluyor.
Özel bir gözlemlenebilirlik aracı şart mı?
Başlangıçta değil. Sorgulayabildiğiniz yapılı bir iz tablosu ihtiyacın çoğunu karşılar. Özel araçlar; yan yana koşu karşılaştırması, değerlendirme entegrasyonu ve prompt sürümlemeyi tek yerde isteyince işe yarar — iz okumak birkaç kişi için günlük bir işe dönüştüğünde benimseyin.
ajan izlemellm gözlemlenebilirlikajan iz kaydıcanlı ai metrikleriajan kayması
