Kendinizi Kandırmadan Ajan Getirisini Ölçmek
Ajan getirisi rakamlarının çoğu dikkatli bir okumaya dayanmıyor ve sebep neredeyse hep aynı: temel sonradan yeniden kuruldu ve hatalar aritmetiğe girmedi.
Dürüst bir sayı elde etmek zor değil ama yayından önce başlaması gerekiyor. Bugünün maliyetini, sonradan kullanacağınız birimlerle yazın. Geri kalan her şey bu tek disiplinden gelir.
Önce temeli yazın#
- Hacim: bu görev haftada kaç kez oluyor?
- İşlem süresi: bir insan ne kadar sürüyor — hatırlanan değil, örneklenerek ölçülen?
- Bunu yapan kişilerin tam yüklü saatlik maliyeti.
- Bugünkü kalite: hata ya da yeniden yapma oranı; ajan bununla karşılaştırılacak.
- Bekleme süresi: talep eden bugün ne kadar bekliyor, eğer bu onun için önemliyse.
Yayından sonra yeniden kurulan bir temel her zaman projeyi kayırır ve bunu inceleyen herkes bilir.
Dayanan metrikler ve pohpohlayanlar#
| Pohpohlayan metrik | Neden yanıltır | Bunun yerine |
|---|---|---|
| Saptırma oranı | Cevapsız kalanı çözülmüş sayar | İnsan gerekmeden tamamlanan görevler |
| İşlenen mesaj | Hacim değer değildir | Uçtan uca tamamlanan görevler |
| Ajan sohbetlerinde memnuniyet | Hayatta kalan yanlılığı; sinirlenen ayrılır | Tüm temaslarda memnuniyet |
| Cevap başına kazanılan süre | İnceleme süresini yok sayar | İnsan incelemesinden sonra net dakika |
| Token başına maliyet | İş rakamı değil | Tamamlanan görev başına maliyet |
Formül ve insanların attığı kısım#
Yıllık fayda; insan gerekmeden tamamlanan görev sayısı çarpı görev başına kazanılan dakika çarpı dakika başına yüklü maliyet — eksi ajanın yol açtığı hataların maliyeti, eksi yarattığı inceleme süresi. Dürüst kısım o çıkarmadır. Görevlerin %70'ini tamamlayan ama her birini bir insanın kontrol etmesini gerektiren bir ajan, işlem süresini değil inceleme süresini kazandırmıştır ve fark genelde üç kattır.
Hata maliyetini kabaca da olsa açıkça tahmin edin: düzeltme süresi, artı itibar, artı hata yüzünden verilen iade ya da kredi.
Gerçek ama faturada görünmeyen faydalar#
Bazı gerçek değerler maliyet modelinde hiç görünmez. Gece üçte hızlı cevap. Tutarlılık — nöbette kim olursa olsun aynı soruya aynı cevap. Bir şeyin neden kararlaştırıldığına dair yazılı iz ki düzenlemeye tabi bir ortamda çok değerlidir. Personelin işin ilginç yarısına vakit ayırması. Bunları uydurma paraya çevirmek yerine ayrı ve dürüstçe raporlayın; bir finans incelemecisi, belirtilen niteliksel faydaya şüpheli derecede kesin bir rakamdan çok daha fazla güvenir.
Dürüst cevabın hayır olduğu durumlar#
Bazen aritmetik durun der ve bunu söylemek, bir getiri çalışmasının yaptığı en değerli şeydir. Düşük hacimli görevler bir yapımı nadiren geri öder. Her çıktının zaten kontrol edilmesi gereken görevler yalnız inceleme süresi kazandırır. Ve hataların pahalı olduğu görevler yüksek doğrulukta bile negatif getiri üretebilir — on bin yüksek değerli kararda %3 yanlış, üç yüz problem demektir. Bu sonucu da yayımlayın. Kanıta dayanarak bir ajanı öldürmüş bir ekip, bir sonrakini önerdiğinde çok daha inandırıcıdır.
Sık sorulan sorular
İlk ajan için gerçekçi tamamlama oranı ne?
İyi kapsamlanmış, yüksek hacimli bir görevin %60–80'i; kalanı devredilir. Verinizi görmeden %95 vaat eden biri, sizin salı öğleden sonranızı değil bir karşılaştırma testini tarif ediyordur.
Geri ödeme ne kadar sürer?
İyi seçilmiş bir iç görevde makul hacimle, bakım dahil genelde altı ila on iki ay. Modeliniz altı haftada geri ödeme gösteriyorsa hata maliyetinin ve inceleme süresinin aritmetiğe girip girmediğini kontrol edin.
Ajan yalnız taslak yazıyorsa değeri nasıl sayarım?
Boş sayfadan onaylı çıktıya kadar geçen süreyi önce ve sonra ölçün. Taslak yazan ajanlar riskin çok küçük bir kısmıyla tasarrufun çoğunu sağlar ve zaten onay almaları da çok daha kolaydır.
ai ajan getirisiai değerini ölçmekotomasyon geri ödemesidestek saptırma metriğiai iş gerekçesi
