A pergunta mais perigosa em projeto de IA não é "qual modelo usar". É como saber se está dando certo. A maioria das empresas mede errado — mede precisão do modelo, ou volume de uso — e não mede o que importa: tempo humano que virou tempo de maior valor.
Os 3 KPIs que importam
(1) Horas humanas liberadas: tarefas que humanos pararam de fazer. (2) Taxa de conversão no processo: lead -> agendamento, NF pendente -> conciliada, ticket -> resolvido. (3) Erro evitado: itens que humanos pegavam e o agente não pegou.
A armadilha do "uso"
"Nossa IA foi usada 1.500 vezes no mês" não diz nada. Se ela substituiu 1.500 mensagens que humanos teriam mandado, é ótimo. Se ela só respondeu 1.500 perguntas que poderiam ter ido pro Google, é vazio. Meça o que deslocou, não o que tocou.
Como rodar o experimento
Defina 1 processo, 1 KPI, 1 baseline de 2 semanas. Implemente o agente. Meça nas 4 semanas seguintes. Compare baseline vs pós. Decida em cima desse delta — não em pitch de fornecedor.