Todo agente de IA em produção vai mudar: um ajuste no prompt, uma ferramenta nova, um modelo mais barato ou mais rápido. A pergunta é como saber se a mudança melhorou ou piorou o comportamento — antes de o cliente descobrir. A resposta é ter evals.
O que são evals
Evals são cenários de avaliação versionados junto com o código: uma entrada (mensagem do cliente, contexto, dados disponíveis) e o comportamento esperado do agente (quais ferramentas chamar, o que pode ou não afirmar, quando transferir para um humano). Eles funcionam como testes de aceite para a parte não determinística do sistema.
Exemplo: um agente de vendas no WhatsApp
Em um CRM com agentes de IA que construímos, o agente de vendas responde clientes no WhatsApp usando ferramentas para buscar produtos, consultar histórico de compras e agendar follow-ups. O conjunto de evals cobre as situações em que um erro custa caro:
- Qualificação do cliente e tratamento de objeções.
- Incerteza sobre o que o produto faz — o agente não pode inventar capacidade.
- Mudanças no carrinho no meio da conversa.
- Falha na pesquisa web — o agente precisa degradar com segurança.
- Continuidade de uma conversa antiga.
- Escalada e transferência para atendimento humano.
- Promessas de ações futuras e revalidação de catálogo que muda com frequência.
Duas camadas de avaliação
- Harness determinístico: roda no CI junto com os testes, verificando o contrato — ferramentas disponíveis, formato da resposta, políticas de fallback.
- Replay com o modelo real: um portão de homologação separado, que executa os cenários contra o modelo e compara o resultado com a versão atual.
Como montar os seus
- Comece pelos incidentes: toda resposta ruim que chegou a um cliente vira um cenário.
- Descreva o comportamento esperado de forma verificável — “chama a ferramenta X” e “não promete prazo” são verificáveis; “responde bem” não é.
- Inclua os casos de falha: ferramenta fora do ar, dado ausente, pergunta fora do escopo.
- Versione o arquivo de cenários e trate mudanças nele como mudanças de requisito.
- Registre cada chamada ao modelo com entradas, ferramentas usadas e resultado, para que um problema em produção possa virar um novo cenário.
Evals também protegem o custo
Com evals, trocar para um modelo mais barato deixa de ser aposta. Se o candidato passa nos mesmos cenários, a economia é segura; se falha, você sabe exatamente onde. É o que permite evoluir o agente toda semana sem medo.