Misurare il ROI di un agente AI senza ingannarsi
La maggior parte delle cifre di ROI degli agenti non regge a una lettura attenta, e il motivo è quasi sempre lo stesso: la baseline è stata ricostruita a posteriori e gli errori sono rimasti fuori dal conto.
Ottenere un numero onesto non è difficile, ma deve iniziare prima del lancio. Scrivete quanto costa oggi, nelle unità che userete dopo. Tutto il resto discende da questa sola disciplina.
Scrivete prima la baseline#
- Volume: quante volte accade questo compito a settimana?
- Tempo di gestione: quanto impiega una persona, misurato su un campione?
- Costo orario pienamente caricato di chi lo fa.
- Qualità attuale: tasso di errore o di rilavorazione.
- Tempo di attesa: quanto aspetta oggi chi richiede, se conta.
Una baseline ricostruita dopo favorisce sempre il progetto, e chi la esamina lo sa.
Metriche che reggono e metriche che lusingano#
| Metrica lusinghiera | Perché inganna | Usate invece |
|---|---|---|
| Tasso di deflessione | Conta il non risposto come risolto | Compiti completati senza persone |
| Messaggi gestiti | Il volume non è valore | Compiti completati end-to-end |
| Soddisfazione nelle chat con l'agente | Bias del sopravvissuto | Soddisfazione su tutti i contatti |
| Tempo risparmiato per risposta | Ignora il tempo di revisione | Minuti netti dopo la revisione |
| Costo per token | Non è un numero di business | Costo per compito completato |
La formula, inclusa la parte che si omette#
Beneficio annuo = compiti completati senza persone × minuti risparmiati per compito × costo pieno al minuto — meno il costo degli errori introdotti, meno il tempo di revisione creato. Quella sottrazione è la parte onesta.
Stimate il costo degli errori in modo esplicito, anche grossolanamente.
Quando la risposta onesta è no#
A volte l'aritmetica dice di fermarsi, e dirlo è la cosa più preziosa dell'esercizio. I compiti a basso volume raramente ripagano una costruzione. Quelli i cui output vanno comunque revisionati risparmiano solo revisione. E quelli con errori costosi possono dare rendimento negativo anche ad alta accuratezza.
Domande frequenti
Quale tasso di completamento è realistico?
Il sessanta-ottanta per cento di un compito ben perimetrato e ad alto volume, il resto in escalation.
Quanto per il rientro?
Su un compito interno ben scelto, di solito sei-dodici mesi manutenzione inclusa.
Come conto il valore se l'agente si limita a redigere?
Misurate il tempo dalla pagina bianca all'output approvato, prima e dopo.
roi agenti aimisurare il valore dell'airientro automazionemetrica di deflessionebusiness case ai
