Avaliação contínua de agentes de IA: método prático

Agentes de IA confiáveis são medidos pelo resultado que produzem, não pela fluidez de suas respostas. Essa distinção parece simples, mas muda a forma de projetar automações. Um agente pode escrever uma resposta convincente, chamar ferramentas sem erros técnicos e ainda assim cancelar o pedido errado, classificar um lead de forma imprecisa ou abrir um chamado no sistema incorreto.

A pressão para colocar agentes em produção tornou esse problema mais visível. No relatório State of Agent Engineering 2026, da LangChain, 57% dos respondentes afirmaram já ter agentes em produção. Porém, embora 89% relatem algum nível de observabilidade, apenas 52,4% executam avaliações offline com conjuntos de testes. A lacuna é crítica: registrar eventos não é o mesmo que comprovar qualidade.

Avaliação contínua é o sistema que conecta intenção de negócio, comportamento do agente e resultado operacional. Ela deve operar antes, durante e depois de cada mudança relevante: modelo, prompt, ferramenta, política, integração, base de conhecimento ou regra de encaminhamento.

O que deve ser avaliado em um agente de IA

A resposta concreta é: avalie a tarefa, a trajetória e o efeito no processo. Uma resposta final isolada raramente é suficiente.

Um agente atua em uma sequência. Ele interpreta uma solicitação, seleciona contexto, decide se deve usar uma ferramenta, executa ações, lida com retornos parciais e encerra ou transfere o caso. Cada etapa pode introduzir falhas. Por isso, a unidade de análise não é apenas o texto gerado. É a execução completa.

Há três camadas úteis:

• Qualidade de resultado: o objetivo foi atingido? Em um agente de suporte, a solicitação foi resolvida corretamente. Em um agente comercial, o lead foi qualificado com os critérios certos.
• Qualidade de trajetória: o agente usou as fontes, ferramentas e permissões corretas? Uma trajetória é o registro ordenado de decisões, chamadas de ferramenta, mensagens e estados intermediários.
• Qualidade operacional: o agente cumpriu limites de custo, latência, segurança e volume de tentativas?

O estudo Monitoring Agentic Systems Before They're Reliable, publicado em junho de 2026, propõe observar sistemas agentivos por qualidade, adequação e eficiência, em três escopos: dentro de uma execução, entre execuções e na estrutura do sistema. A implicação prática é direta: um painel de erros de API não detecta, sozinho, decisões inadequadas que foram tecnicamente bem executadas.

Defina sucesso com critérios observáveis. “Atender bem” é uma ambição. “Classificar corretamente a intenção, registrar o pedido no CRM e encaminhar exceções para um humano em até dois minutos” é uma especificação avaliável.

Como transformar objetivos de negócio em casos de teste

A resposta concreta é: construa um conjunto de avaliação a partir de decisões reais e de exceções relevantes, não apenas de exemplos ideais.

Um conjunto de avaliação é uma coleção versionada de casos que representa situações que o agente precisa resolver. Cada caso deve conter entrada, contexto disponível, ferramentas permitidas, critérios de aprovação e, quando aplicável, estado esperado após a execução.

Comece por cinco grupos:

1. Casos frequentes: representam o volume principal e protegem a eficiência do processo.
2. Casos críticos: têm baixa frequência, mas alto impacto financeiro, jurídico ou reputacional.
3. Casos ambíguos: exigem confirmação, busca de contexto adicional ou encaminhamento humano.
4. Casos adversariais: incluem instruções conflitantes, dados incompletos e tentativas de induzir uso indevido de ferramentas.
5. Falhas de produção: todo incidente compreendido deve se tornar um caso permanente de regressão.

Esse último grupo é o mais valioso. Ele transforma uma falha isolada em memória operacional. Se um agente aplicou uma política comercial desatualizada, o caso não deve desaparecer após a correção. Ele passa a integrar a suíte que será executada antes das próximas mudanças.

Evite testes que aceitam qualquer texto “razoável”. Em tarefas transacionais, o critério precisa alcançar o estado final. Se o agente afirma que atualizou um cadastro, valide se o campo foi alterado no sistema correto. Se ele diz que enviou uma proposta, valide o destinatário, o documento e a regra comercial aplicada.

A pesquisa AlphaEval: Evaluating Agents in Production, de abril de 2026, reforça essa diferença ao avaliar produtos agentivos completos, e não somente modelos. O desempenho percebido depende do conjunto formado por modelo, instruções, ferramentas, interface, permissões e ambiente.

Quais métricas revelam se o agente está melhorando

A resposta concreta é: combine métricas de negócio, qualidade, risco e eficiência. Uma única taxa de acerto cria pontos cegos.

A primeira métrica deve refletir a finalidade do fluxo. Pode ser resolução no primeiro contato, taxa de conversão qualificada, prazo de tratamento, recuperação de receita, redução de retrabalho ou conformidade documental. Essa é a métrica de resultado.

Em seguida, acompanhe métricas de qualidade:

• taxa de conclusão correta;
• taxa de encaminhamento humano apropriado;
• aderência a políticas e regras de negócio;
• uso correto de fontes e ferramentas;
• reincidência de falhas conhecidas.

Inclua também métricas de risco. Meça ações bloqueadas por guardrails, tentativas de acesso fora do escopo, alterações revertidas, casos com dados sensíveis e decisões que exigiram revisão posterior. Guardrail é uma regra técnica ou de processo que limita ações perigosas, como aprovar descontos acima de uma alçada ou acessar dados fora de uma finalidade autorizada.

Por fim, acompanhe eficiência: latência de ponta a ponta, custo por tarefa concluída, número de chamadas de ferramenta, número de tentativas e taxa de abandono. Um agente que resolve mais casos, mas triplica seu custo e sua latência, pode degradar o processo como um todo.

Não fixe uma meta universal de “95% de acerto”. A tolerância deve variar conforme a ação. Um agente que resume reuniões pode aceitar uma avaliação mais subjetiva. Um agente que atualiza cadastros, libera pagamentos ou orienta clientes sobre contratos precisa de critérios mais rígidos, confirmação de estado e limites de autonomia.

Como avaliar respostas subjetivas sem confiar cegamente em outro modelo

A resposta concreta é: use avaliadores automáticos para escala, mas calibre-os com revisão humana recorrente.

Nem toda tarefa tem uma resposta única. Tom, clareza, completude, utilidade e adequação ao contexto são dimensões subjetivas. Nesses casos, um LLM como juiz pode comparar a saída do agente com uma rubrica estruturada. A rubrica deve dizer exatamente o que será avaliado, quais evidências importam e quais condições reprovam a resposta.

Mas o avaliador também erra. Ele pode privilegiar respostas longas, confundir confiança com precisão ou reproduzir vieses do próprio modelo. Por isso, o julgamento automatizado não deve ser tratado como verdade autônoma.

A prática robusta tem quatro controles:

1. Use critérios específicos por tarefa, em vez de pedir uma avaliação genérica de qualidade.
2. Separe avaliação de conteúdo, segurança e execução. Um único juiz para tudo reduz diagnósticos.
3. Faça amostragem humana periódica para comparar o veredito automático com o julgamento de especialistas.
4. Meça discordância. Se avaliadores humanos divergem entre si, a regra de qualidade ainda está vaga.

A Anthropic relatou, em um post-mortem de abril de 2026, que problemas de qualidade em produtos agentivos foram inicialmente difíceis de distinguir da variação normal no feedback de usuários e não foram reproduzidos de imediato pelas avaliações internas. A lição é importante: avaliações devem evoluir quando a produção revela sinais que o laboratório não capturou.

Como monitorar agentes sem transformar observabilidade em ruído

A resposta concreta é: monitore por exceção, por mudança de distribuição e por impacto de negócio.

Observabilidade é a capacidade de reconstruir o que um sistema fez e por que chegou a determinado resultado. Para agentes, isso exige rastrear versão do modelo, prompt, contexto recuperado, chamadas de ferramentas, permissões, saídas intermediárias, resultado final e feedback posterior.

O erro mais comum é guardar todos os rastros e não definir prioridades. Uma operação madura precisa de alertas associados a hipóteses de falha. Exemplos:

• aumento repentino de transferências para atendimento humano;
• crescimento de respostas sem fonte em temas que exigem evidência;
• uso de uma ferramenta fora do padrão histórico;
• queda na taxa de conclusão após troca de modelo;
• aumento de tentativas por execução;
• divergência entre o que o agente declara e o estado confirmado no sistema.

Também monitore drift, ou desvio de comportamento ao longo do tempo. Ele pode surgir por mudança de mix de solicitações, atualização da base de conhecimento, nova versão de modelo, integração alterada ou deterioração de uma API externa. O agente pode continuar “funcionando” e, ainda assim, entregar resultados piores.

A observabilidade deve permitir comparação entre versões. Sem versionar prompt, política, ferramenta e conjunto de dados, a equipe não consegue atribuir uma regressão a uma causa provável. O objetivo não é acumular logs. É reduzir o tempo entre detectar uma anomalia, entender sua origem e aplicar uma correção segura.

Qual é o ciclo operacional para corrigir falhas sem criar novas regressões

A resposta concreta é: trate cada mudança como uma hipótese testável e avance por liberação progressiva.

O ciclo começa com uma linha de base. Antes de otimizar, registre desempenho atual por tipo de tarefa, segmento de usuário, ferramenta utilizada, custo, latência e taxa de intervenção humana. Sem linha de base, melhorias são apenas impressão.

Depois, siga uma cadência disciplinada:

1. Classifique a falha

Determine se ela foi de entendimento, recuperação de contexto, política, ferramenta, permissão, integração ou experiência. “O agente errou” não é um diagnóstico útil.

2. Crie ou atualize o caso de avaliação

Reproduza a falha com dados seguros. Defina o resultado correto e os sinais que comprovam aprovação. O caso passa a proteger a operação contra reincidência.

3. Mude uma variável por vez quando possível

Alterar prompt, modelo, ferramenta e regra simultaneamente dificulta atribuição causal. Em fluxos críticos, prefira experimentos controlados.

4. Execute avaliações offline e testes de integração

Avaliação offline verifica o comportamento em casos conhecidos. Teste de integração confirma se ferramentas, permissões e estados externos funcionam no ambiente realista.

5. Libere gradualmente

Use uma parcela limitada de tráfego, escopo de ação reduzido ou supervisão humana ampliada. Autonomia deve crescer junto com evidência de desempenho, não por confiança declarada.

6. Reavalie o efeito no processo

Uma melhoria local pode piorar a operação. Reduzir transferências humanas, por exemplo, é ruim se o agente passa a resolver menos casos corretamente.

Esse método aproxima agentes de uma disciplina já conhecida em sistemas críticos: qualidade é uma propriedade continuamente verificada. Para operações que orquestram múltiplas etapas, plataformas como o Centriu Flow podem concentrar regras, aprovações e pontos de controle, mas a governança continua dependendo de critérios claros de resultado e de um ciclo de avaliação ativo.

Por onde começar nos próximos 30 dias

A resposta concreta é: escolha um fluxo delimitado, defina uma métrica de resultado e construa uma suíte pequena, porém representativa.

Na primeira semana, mapeie a decisão que o agente toma e o efeito esperado no processo. Identifique onde uma decisão incorreta gera maior custo. Na segunda, reúna de 30 a 50 casos reais, incluindo erros, exceções e solicitações ambíguas. Na terceira, implemente critérios automáticos para resultado, política, custo e latência. Reserve revisão humana para os casos subjetivos e de maior impacto.

Na quarta semana, execute a suíte a cada mudança e crie um rito de análise das falhas de produção. Não tente medir tudo de uma vez. O ganho inicial vem de tornar explícito o que antes era implícito: qual decisão o agente pode tomar, sob quais condições e como a empresa sabe que ela foi correta.

Agentes confiáveis não são os que parecem mais autônomos. São os que acumulam evidência de que operam bem, reconhecem limites e melhoram sem repetir os mesmos erros.