Como passa despercebido
A compilação falhou, mas o agente já passou a escrever um resumo. Ele se recuperou, ou uma falha importante desapareceu entre dois passos? A próxima ação é muitas vezes onde uma revisão útil deve começar.
Numa sessão intensa, um erro pode passar despercebido logo antes de uma chamada de ferramenta diferente. O agente pode ter uma estratégia de recuperação válida, ou pode estar avançando sem tratar a falha. De qualquer forma, você precisa da sequência em torno disso para decidir.
O que o ClawMetry deteta
O ClawMetry sinaliza um resultado de ferramenta com falha seguido de atividade contínua sem uma nova tentativa ou reconhecimento identificado. Ele cria uma descoberta informativa de discrepância de ação. Essa severidade menor importa: é um convite para inspecionar a transição, não um veredicto sobre a intenção do agente.
A diferença que muda o resultado
Exemplo de acionamento
Falha, ferramenta diferente
Descoberta informativa
Comparação silenciosa
Falha, nova tentativa com a mesma ferramenta
Sem resultado para este detetor.
O exemplo verificado falha em uma compilação shell e depois chama uma ferramenta diferente. Isso gera uma descoberta informativa. Uma falha seguida de outra chamada à mesma ferramenta é tratada como nova tentativa e não aciona este detector.
Inspecionar o resultado do detetor
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Como o exemplo foi verificado
Estes exemplos avaliam o detetor publicado com dados de eventos criados ou ficheiros de configuração descartáveis. Os vídeos ilustram esses comportamentos. Não são gravações de agentes reais ou da interface do produto. Nenhum comando nos exemplos foi executado.
O resultado estabelece o comportamento para estas entradas. Não estabelece ingestão em runtime, prevenção ou um compromisso real. Inspecionar o contrato de fonte fixado.
O que verificar a seguir
Compare o passo com falha com o que veio depois. A nova ação foi um caminho de recuperação? O erro foi reconhecido em outro lugar? Antes de confiar num relatório de conclusão, verifique o resultado subjacente que a operação com falha deveria produzir.
- Inspecionar o resultado com falha
- Verificar o caminho de recuperação
- Verifique o resultado declarado
O que este sinal estabelece
O detector não verifica a declaração de conclusão final. Uma recuperação legítima por meio de outra ferramenta também pode corresponder.