ഇത് എങ്ങനെ ശ്രദ്ധിക്കപ്പെടാതെ പോകുന്നു
Build fail ആകുന്നു. Agent വീണ്ടും ശ്രമിക്കുന്നു. വീണ്ടും fail ആകുന്നു. ഓരോ retry-യും output കൂട്ടുന്നു, പക്ഷേ അടിസ്ഥാന പ്രശ്നം നിലനിൽക്കുന്നു. Session active ആണോ എന്ന് മാത്രം നോക്കിയാൽ ആവർത്തിക്കുന്ന failure കാണാതെ പോകാം.
Shell tool-ൽ നിന്ന് error ലഭിക്കുമ്പോഴും ഒരു change തയ്യാറാക്കുന്ന agent-നെ കുറിച്ച് ആലോചിക്കൂ. കാരണം missing dependency, invalid command, അല്ലെങ്കിൽ unavailable access ആകാം. ഏത് tool fail ആകുന്നു, എത്ര തവണ എന്നതാണ് ഉപകാരപ്രദമായ ചോദ്യം.
ClawMetry എന്ത് detect ചെയ്യുന്നു
ClawMetry event window-ൽ ഒരേ tool-ന് attributed errors എണ്ണുന്നു. Count applicable threshold കടക്കുമ്പോൾ repeated tool failure warning ഉയർത്തുന്നു. Finding-ൽ tool, failure count, threshold എന്നിവ ഉൾപ്പെടുന്നു.
Finding മാറ്റുന്ന വ്യത്യാസം
Trigger ആകുന്ന ഉദാഹരണം
Bash-ൽ നിന്ന് 4 errors
Warning finding
നിശബ്ദ താരതമ്യം
Bash-ൽ നിന്ന് 1 error
ഈ detector-ന് finding ഇല്ല.
പരിശോധിച്ച ഉദാഹരണത്തിൽ, നാല് failing shell results ഒരു warning ഉണ്ടാക്കുന്നു. ഒറ്റ failure threshold-ന് താഴെ നിൽക്കുന്നു. ഇത് identical-call loop-ൽ നിന്ന് വ്യത്യസ്തമാണ്: commands മാറുമ്പോഴും ഒരേ tool errors തുടരാം.
Detector result പരിശോധിക്കുക
{
"kind": "repeated_tool_failure",
"severity": "warning",
"evidence": {
"tool": "Bash",
"failures": 4,
"threshold": 3,
"threshold_source": "static"
}
}ഉദാഹരണം എങ്ങനെ പരിശോധിച്ചു
ഈ ഉദാഹരണങ്ങൾ authored event data-യോ disposable configuration files-ഓ ഉപയോഗിച്ച് published detector evaluate ചെയ്യുന്നു. Videos ആ behaviors ചിത്രീകരിക്കുന്നു. ഇവ live agents-ന്റെയോ product interface-ന്റെയോ recordings അല്ല. ഉദാഹരണങ്ങളിലെ ഒരു command-ഉം execute ചെയ്തിട്ടില്ല.
Result ഈ inputs-നുള്ള behavior സ്ഥാപിക്കുന്നു. Runtime ingestion, prevention, അല്ലെങ്കിൽ real compromise സ്ഥാപിക്കുന്നില്ല. Pinned source contract പരിശോധിക്കുക.
അടുത്തതായി എന്ത് പരിശോധിക്കണം
Failing results തുറന്ന് പൊതുവായ കാരണം നോക്കുക. Environment-ഓ access problem-ഓ പരിഹരിക്കുക, അല്ലെങ്കിൽ retries കൂടുന്നതിനു മുമ്പ് agent task ചുരുക്കുക. പിന്നെ അടുത്ത tool result ശരിക്കും succeed ആകുന്നുണ്ടോ verify ചെയ്യുക.
- Error results വായിക്കുക
- പൊതുവായ കാരണം പരിഹരിക്കുക
- അടുത്ത result verify ചെയ്യുക
ഈ signal എന്ത് സ്ഥാപിക്കുന്നു
ഇത് ഒരു reliability signal ആണ്. Root cause diagnose ചെയ്യുന്നില്ല, agent-ന് attack ഉണ്ടെന്ന് prove ചെയ്യുന്നുമില്ല.