PLATAFORMA / OPERATE / AVALIAÇÕES
A confiança é conquistada com evidência.
Não pergunte se a IA parece boa. Prove que o trabalho está certo — antes de publicar, a cada versão e continuamente em produção. Avaliações transformam qualidade de opinião em número.
EXECUÇÃO DE AVALIAÇÃO · ANALISTA DE PROPOSTAS V2.4 Exemplo ilustrativo
NOTA GERAL
96,7%PRONTOCASOS DE TESTE
312cenáriosPOR DIMENSÃO
POR QUE AVALIAÇÕES
Uma demo bonita não é um Worker confiável.
Qualquer agente parece impressionante em cinco exemplos escolhidos. A pergunta enterprise é outra: como ele se comporta em trezentos cenários reais — incluindo os difíceis? As avaliações respondem isso antes que o cliente descubra.
SEM AVALIAÇÕES
"Testei umas conversas e pareceu bom." · Qualidade é opinião. Regressões passam despercebidas. Autonomia é um ato de fé.COM AVALIAÇÕES Exemplo ilustrativo
96,7% em 312 cenários, 100% de compliance, zero regressões vs v2.3. Qualidade é número. Autonomia é conquistada com evidência.A avaliação é contínua — não um checklist de lançamento.
O QUE É AVALIADO
Muito além de "a resposta soou bem".
A NEXO avalia o trabalho, não a prosa. Cada dimensão tem rubrica própria, exemplos aprovados e limite configurável:
OUTCOME ALCANÇADO
o objetivo foi atingido? O ticket foi resolvido, a evidência coletada, a recomendação correta?PRECISÃO FACTUAL
cada claim tem fonte? Números batem com os documentos? Nada inventado?CONFORMIDADE COM A POLÍTICA
limites respeitados, termos proibidos ausentes, aviso presente, consentimento respeitado.COLETA DE EVIDÊNCIAS
em entrevistas e análises: cobertura dos critérios e profundidade suficiente.USO CORRETO DAS FERRAMENTAS
a ferramenta certa, com os parâmetros certos, no momento certo — sem chamadas desnecessárias.QUALIDADE DO RACIOCÍNIO
o Planner escolheu bem? Esperou quando devia? Escalou quando precisava?TOM E EMPATIA
voz de marca, vocabulário aprovado, empatia em situações sensíveis.ESCALAÇÃO CORRETA
casos que deviam ir ao humano foram? Casos autônomos ficaram autônomos?Uma mensagem que gera resposta mas prejudica a marca não é sucesso. Uma resposta fluente sem fonte não é qualidade.
COMO É MEDIDO
Métodos combinados. Calibrados por humanos.
SUÍTES DE TESTE
golden datasets: cenários reais com resultado esperado — o "contrato de qualidade" do Worker.VERIFICAÇÕES DETERMINÍSTICAS
números, campos obrigatórios, conformidade com a política, formato — verificados por regra, não por opinião.LLM COMO JUIZ
rubricas para dimensões qualitativas (tom, empatia, raciocínio) — com juiz avaliado também.CALIBRAÇÃO HUMANA
amostras revisadas por especialistas ancoram o juiz — quando divergem, a rubrica melhora.TESTES DE REGRESSÃO
cada versão roda a suíte completa: nada que funcionava pode quebrar em silêncio.CASO DE TESTE · #148 Exemplo ilustrativo
CENÁRIO
Proposta sem o SLA obrigatório · fornecedor evasivo na primeira respostaCOMPORTAMENTO ESPERADO
Detectar lacuna → pedir esclarecimento → criar compromisso → ESPERA (não adivinhar, não prosseguir)RESULTADO · V2.4 Exemplo ilustrativo
RESULTADO · V2.3 (ANTERIOR) Exemplo ilustrativo
Esse caso nasceu de uma edição humana na fila de revisão — e virou teste permanente.
COMO É MEDIDO
SIMULAÇÃO · WORKER DE ATENDIMENTO Exemplo ilustrativo
PERSONA
Cliente frustrado · 3º contatoCENÁRIO
Pedido atrasado · pedido de reembolsoPOLÍTICA EM TESTE
Reembolso ≤ R$ 500 autônomoEXECUÇÃO
- WORKERIdentifica o pedido 4821 · reconhece o histórico
- FERRAMENTAcheck_order() · confirma o atraso
- PERSONA"Quero o reembolso agora ou vou ao Procon."
- WORKERResposta empática · reembolso de R$ 340 iniciado
- ESPERACompromisso de confirmação criado — a execução termina em ESPERA
NOTAS
SIMULAÇÃO E RED TEAM
Erre no ensaio. Não na produção.
Simule personas, cenários e políticas antes de publicar — incluindo trabalhos que terminam em ESPERA, porque esperar certo também é comportamento testável. E ataque o próprio Worker:
RED TEAM
jailbreak, prompt injection, engenharia social, usuário agressivo, pedidos de dados sensíveis, manipulação de desconto.CASOS EXTREMOS
anexos corrompidos, respostas ambíguas, contradições entre fontes, silêncio prolongado.FORNECEDORES ADVERSÁRIOS
"o outro fornecedor ofereceu 20% a menos" — o Worker revela pricing de terceiros? (Nunca deveria.)- Tentativa de injeção
- A política prevalece
- APROVADO
PORTAS DE LIBERAÇÃO
Nenhuma versão publica abaixo do limite.
As avaliações não são um relatório — são um portão. Cada mudança de Worker, procedimento, política ou modelo passa pela suíte antes de chegar à produção. E as mesmas notas governam a autonomia: promover para Autônomo exige evidência; queda de qualidade sugere voltar para Supervisionado.
PORTÃO DE LIBERAÇÃO · ANALISTA DE PROPOSTAS Exemplo ilustrativo
V2.5 CANDIDATA
- Aprovado: Outcome alcançado 97,8% (↑ 0,6)
- Aprovado: Conformidade com a política 100%
- Bloqueado: Precisão factual 93,1% — abaixo do limite de 95%
VEREDITO
✕ PUBLICAÇÃO BLOQUEADA — regressão em 9 casos de teste
A PRODUÇÃO CONTINUA NO AR
- Aprovado: v2.4 · nota 96,7% · sem mudança
PORTA DE AUTONOMIA
- Aprovado: Pedir esclarecimento: 184 aprovações · 97,1% → elegível para Autônomo
- Pendente: Ofertas externas: tendência de empatia ↓ 3 pts → manter Supervisionado
AVALIAÇÃO CONTÍNUA
A produção também é avaliada. Sempre.
Amostragem contínua do trabalho real, detecção de drift e alertas de qualidade — porque modelos mudam, dados mudam e o mundo muda.
AMOSTRAGEM DE PRODUÇÃO — 30 DIAS Exemplo ilustrativo
QUALIDADE POR DIMENSÃO — TENDÊNCIA Exemplo ilustrativo
ALERTA DE DESVIO
SINAL
⚠ Nota de empatia caiu 3,2 pts em 14 dias · Worker de CobrançaCAUSA SUSPEITA
Novo padrão de objeção não coberto pelo procedimentoAÇÕES SUGERIDAS
- Aprovado: Adicionar 12 casos amostrados à suíte de avaliação
- Aprovado: Atualizar o procedimento v3.1 com a nova orientação
- Aprovado: Rodar o portão de novo antes de mudar a autonomia
O feedback da revisão humana (edições · rejeições) flui para cá automaticamente — cada correção vira um caso de teste.
COMO SE ENCAIXA
O ciclo de confiança da Digital Workforce.
- BUILDworker · procedimento · política
- AVALIARsuíte · simulação · red team
- Condição: PUBLICARportão ≥ limite
- OBSERVARamostragem · desvio · feedback de revisão
- MELHORARnovos casos · procedimentos · limites ↺
- AUTONOMIA CONQUISTADA
As avaliações controlam os lançamentos, calibram a autonomia e alimentam a melhoria. A confiança se acumula.
NEXO WORKS / AVALIAÇÕES
Publique com base em evidência. Não por impressão.
Teste, simule, ataque e monitore seus Digital Workers — para que cada versão publicada, cada nível de autonomia e cada resultado entregue tenham prova por trás.