Pomiar zwrotu z agenta AI bez oszukiwania samych siebie
Większość liczb ROI dla agentów nie wytrzymuje uważnej lektury, a powód jest niemal zawsze ten sam: punkt odniesienia odtworzono po fakcie, a błędy zostały poza rachunkiem.
Uczciwa liczba nie jest trudna, ale musi zacząć się przed wdrożeniem. Spiszcie, ile kosztuje to dzisiaj, w jednostkach, których użyjecie później.
Najpierw spiszcie punkt odniesienia#
- Wolumen: ile razy tygodniowo zdarza się to zadanie?
- Czas obsługi: ile zajmuje człowiekowi — zmierzony na próbce?
- Pełny koszt godziny osób, które to robią.
- Dzisiejsza jakość: odsetek błędów lub poprawek.
- Czas oczekiwania: ile dziś czeka zgłaszający, jeśli to istotne.
Punkt odniesienia odtworzony później zawsze sprzyja projektowi i każdy recenzent o tym wie.
Wskaźniki, które się bronią, i te, które schlebiają#
| Schlebiający wskaźnik | Dlaczego myli | Użyjcie zamiast |
|---|---|---|
| Odsetek odciążenia | Liczy nieodpowiedziane jako rozwiązane | Zadania ukończone bez człowieka |
| Obsłużone wiadomości | Wolumen to nie wartość | Zadania ukończone od końca do końca |
| Zadowolenie w czatach z agentem | Błąd przeżywalności | Zadowolenie we wszystkich kontaktach |
| Czas zaoszczędzony na odpowiedź | Pomija czas przeglądu | Minuty netto po przeglądzie |
| Koszt na token | To nie liczba biznesowa | Koszt na ukończone zadanie |
Wzór wraz z częścią, którą się pomija#
Roczna korzyść = zadania ukończone bez człowieka × zaoszczędzone minuty na zadanie × pełny koszt minuty — minus koszt błędów wprowadzonych przez agenta, minus stworzony czas przeglądu. To odejmowanie jest uczciwą częścią.
Oszacujcie koszt błędów jawnie, choćby zgrubnie.
Kiedy uczciwą odpowiedzią jest nie#
Czasem arytmetyka mówi stop, a powiedzenie tego jest najcenniejszą rzeczą w całym ćwiczeniu. Zadania o małym wolumenie rzadko zwracają koszt budowy. Zadania, których wyniki i tak trzeba sprawdzać, oszczędzają tylko czas przeglądu.
Najczęstsze pytania
Jaki odsetek ukończeń jest realistyczny?
Sześćdziesiąt do osiemdziesięciu procent dobrze zakreślonego zadania o dużym wolumenie, reszta eskalowana.
Ile do zwrotu?
Przy dobrze wybranym zadaniu wewnętrznym zwykle sześć do dwunastu miesięcy z konserwacją.
Jak liczyć wartość, gdy agent tylko przygotowuje szkice?
Zmierzcie czas od pustej strony do zatwierdzonego wyniku, przed i po.
roi agentów aipomiar wartości aizwrot z automatyzacjiwskaźnik odciążeniauzasadnienie biznesowe ai
