Hur det förbises
Bygget misslyckades, men agenten gick redan vidare till att skriva en sammanfattning. Återhämtade den sig, eller försvann ett viktigt misslyckande mellan två steg? Nästa åtgärd är ofta där en användbar granskning bör börja.
I en aktiv session kan ett fel rulla förbi precis innan ett annat verktygsanrop. Agenten kan ha en giltig återhämtningsstrategi. Eller så kan den fortsätta utan att hantera misslyckandet. Oavsett vilket behöver du den omgivande sekvensen för att avgöra.
Vad ClawMetry identifierar
ClawMetry flaggar ett misslyckat verktygsresultat följt av fortsatt aktivitet utan ett erkänt återförsök eller bekräftelse. Den skapar ett informationsfynd om åtgärdsavvikelse. Den lägre allvarlighetsgraden spelar roll: det här är en uppmaning att granska övergången, inte ett utlåtande om agentens avsikt.
Skillnaden som förändrar fyndet
Utlösande exempel
Misslyckande, annat verktyg
Informationsfynd
Tyst jämförelse
Misslyckande, återförsök med samma verktyg
Inget fynd för den här detektorn.
Det kontrollerade exemplet misslyckas med ett skalbygge och anropar sedan ett annat verktyg. Det utfärdar ett informationsfynd. Ett misslyckande följt av ett annat anrop till samma verktyg behandlas som ett återförsök och förblir tyst för den här detektorn.
Granska detektorresultatet
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Hur exemplet kontrollerades
De här exemplen utvärderar den publicerade detektorn med skapade händelsedata eller tillfälliga konfigurationsfiler. Videorna illustrerar dessa beteenden. De är inte inspelningar av aktiva agenter eller produktgränssnittet. Inget kommando i exemplen utfördes.
Resultatet fastställer beteende för dessa indata. Det fastställer inte körtidsinmatning, förebyggande eller ett verkligt intrång. Granska det fästa källkontraktet.
Vad du kontrollerar härnäst
Jämför det misslyckade steget med vad som följde. Var den nya åtgärden en återhämtningsväg? Bekräftades felet på annat håll? Innan du förlitar dig på en avslutningsrapport, verifiera det underliggande resultatet som den misslyckade operationen var avsedd att producera.
- Granska det misslyckade resultatet
- Kontrollera återhämtningsvägen
- Verifiera det påstådda utfallet
Vad den här signalen fastställer
Detektorn verifierar inte det slutliga avslutningspåståendet. Legitim återhämtning genom ett annat verktyg kan också matcha.