Como isso passa despercebido
A build falhou, mas o agente já avançou para escrever um resumo. Ele se recuperou, ou uma falha importante desapareceu entre duas etapas? A próxima ação costuma ser o ponto de partida para uma revisão útil.
Em uma sessão movimentada, um erro pode passar despercebido logo antes de uma chamada de ferramenta diferente. O agente pode ter uma estratégia de recuperação válida, ou pode estar avançando sem tratar a falha. De qualquer forma, você precisa da sequência ao redor para decidir.
O que o ClawMetry detecta
O ClawMetry sinaliza um resultado de ferramenta com falha seguido de atividade contínua sem uma nova tentativa ou reconhecimento identificável. Isso gera um achado informativo de discrepância de ação. A severidade menor importa: é um convite para inspecionar a transição, não um veredicto sobre a intenção do agente.
A diferença que muda o achado
Exemplo que aciona o detector
Falha, ferramenta diferente
Achado informativo
Comparação silenciosa
Falha, nova tentativa com a mesma ferramenta
Nenhum achado para este detector.
O exemplo verificado falha em uma build de shell e então chama uma ferramenta diferente, gerando um achado informativo. Uma falha seguida de outra chamada à mesma ferramenta é tratada como nova tentativa e não aciona este detector.
Inspecionar o resultado do detector
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Como o exemplo foi verificado
Estes exemplos avaliam o detector publicado com dados de eventos criados ou arquivos de configuração descartáveis. Os vídeos ilustram esses comportamentos. Não são gravações de agentes reais ou da interface do produto. Nenhum comando nos exemplos foi executado.
O resultado estabelece o comportamento para essas entradas. Não estabelece ingestão em tempo real, prevenção ou um comprometimento real. Inspecionar o contrato de fonte fixado.
O que verificar a seguir
Compare a etapa com falha com o que veio depois. A nova ação foi um caminho de recuperação? O erro foi reconhecido em outro lugar? Antes de confiar em um relatório de conclusão, verifique o resultado subjacente que a operação com falha deveria produzir.
- Inspecione o resultado com falha
- Verifique o caminho de recuperação
- Verifique o resultado relatado
O que este sinal estabelece
O detector não verifica a afirmação de conclusão final. Uma recuperação legítima por outra ferramenta também pode corresponder ao padrão.