Come viene trascurato
La build è fallita, ma l'agente ha già iniziato a scrivere un riepilogo. Si è ripreso, oppure un errore importante è scomparso tra due passaggi? L'azione successiva è spesso il punto da cui iniziare una revisione utile.
In una sessione intensa, un errore può scorrere via appena prima di una chiamata a uno strumento diverso. L'agente potrebbe avere una strategia di recupero valida, oppure potrebbe procedere senza gestire il fallimento. In ogni caso, serve la sequenza circostante per decidere.
Cosa rileva ClawMetry
ClawMetry segnala un risultato di strumento fallito seguito da attività continuata senza un nuovo tentativo o riconoscimento rilevato. Crea una segnalazione informativa di discrepanza nelle azioni. La gravità ridotta è intenzionale: è un invito a ispezionare la transizione, non un giudizio sull'intento dell'agente.
La differenza che cambia il rilevamento
Esempio che innesca il rilevamento
Fallimento, strumento diverso
Segnalazione informativa
Confronto silenzioso
Fallimento, nuovo tentativo con lo stesso strumento
Nessun rilevamento per questo detector.
L'esempio verificato fa fallire una build di shell e poi chiama uno strumento diverso. Genera una segnalazione informativa. Un fallimento seguito da un'altra chiamata allo stesso strumento viene trattato come nuovo tentativo e non attiva questo detector.
Ispeziona il risultato del detector
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Come è stato verificato l'esempio
Questi esempi valutano il detector pubblicato con dati di eventi creati o file di configurazione temporanei. I video illustrano tali comportamenti. Non sono registrazioni di agenti reali o dell'interfaccia del prodotto. Nessun comando negli esempi è stato eseguito.
Il risultato stabilisce il comportamento per questi input. Non stabilisce l'acquisizione in runtime, la prevenzione o una compromissione reale. Ispeziona il contratto sorgente fissato.
Cosa verificare dopo
Confronta il passaggio fallito con ciò che è seguito. La nuova azione era un percorso di recupero? L'errore è stato riconosciuto altrove? Prima di fare affidamento su un rapporto di completamento, verifica il risultato sottostante che l'operazione fallita avrebbe dovuto produrre.
- Ispeziona il risultato fallito
- Verifica il percorso di recupero
- Verifica il risultato dichiarato
Cosa stabilisce questo segnale
Il detector non verifica la dichiarazione finale di completamento. Anche un recupero legittimo tramite un altro strumento può corrispondere.