Medir o ROI de um agente de IA sem enganar-se a si próprio
A maioria dos números de ROI de agentes não sobrevive a uma leitura atenta, e a razão é quase sempre a mesma: a linha de base foi reconstruída depois e os erros ficaram fora da conta.
Obter um número honesto não é difícil, mas tem de começar antes do lançamento.
Escrevam primeiro a linha de base#
- Volume: quantas vezes por semana acontece esta tarefa?
- Tempo de tratamento: quanto demora uma pessoa, medido numa amostra?
- Custo horário totalmente carregado.
- Qualidade atual: taxa de erro ou de retrabalho.
- Tempo de espera: quanto espera hoje quem pede, se isso importa.
Uma linha de base reconstruída depois favorece sempre o projeto.
Métricas que aguentam e métricas que lisonjeiam#
| Métrica lisonjeira | Porque engana | Usem antes |
|---|---|---|
| Taxa de desvio | Conta o não respondido como resolvido | Tarefas concluídas sem pessoas |
| Mensagens tratadas | Volume não é valor | Tarefas concluídas ponta a ponta |
| Satisfação nas conversas com o agente | Enviesamento do sobrevivente | Satisfação em todos os contactos |
| Tempo poupado por resposta | Ignora o tempo de revisão | Minutos líquidos após revisão |
| Custo por token | Não é um número de negócio | Custo por tarefa concluída |
A fórmula, incluindo a parte que se omite#
Benefício anual = tarefas concluídas sem pessoas × minutos poupados por tarefa × custo por minuto — menos o custo dos erros introduzidos, menos o tempo de revisão criado. Essa subtração é a parte honesta.
Estimem o custo dos erros explicitamente, mesmo que a olho.
Quando a resposta honesta é não#
Às vezes a aritmética manda parar, e dizê-lo é o mais valioso do exercício. Tarefas de baixo volume raramente pagam uma construção. As cujos resultados têm de ser revistos de qualquer modo só poupam revisão.
Perguntas frequentes
Que taxa de conclusão é realista?
Sessenta a oitenta por cento de uma tarefa bem delimitada e de grande volume.
Quanto tempo até recuperar?
Numa tarefa interna bem escolhida, normalmente seis a doze meses com manutenção incluída.
Como contar valor se o agente só redige?
Meçam o tempo da página em branco até ao resultado aprovado, antes e depois.
roi agentes iamedir valor da iaretorno da automaçãométrica de desviocaso de negócio ia
