ഇത് എങ്ങനെ ശ്രദ്ധിക്കപ്പെടാതെ പോകുന്നു
നിങ്ങളുടെ agent ഒരു file കൂടി തുറന്നു. ഒന്നും കൂടി. Session തിരക്കിലാണ്, പക്ഷേ fix ഇനിയും വന്നിട്ടില്ല. ഒരേ സമയം ഒന്നിലധികം agents നിരീക്ഷിക്കുമ്പോൾ, activity-യുടെ ഒഴുക്ക് ഒരു task മുന്നോട്ട് പോകാത്തത് മറക്കാം.
ഒരു ചെറിയ code മാറ്റം ആവശ്യപ്പെടുന്നതായി കരുതുക. Agent ഒരു edit-ഉം ഇല്ലാതെ ഇരുപത്തഞ്ച് files വായിക്കുന്നു. Session scroll ചെയ്ത് ഇത് കണ്ടെത്താം. ClawMetry പകരം ഒരു specific signal നൽകുന്നു.
ClawMetry എന്ത് detect ചെയ്യുന്നു
No progress detector ഏറ്റവും പുതിയ user turn-ൽ നിന്നോ completion marker-ൽ നിന്നോ tool calls എണ്ണുന്നു. Recognized write-ഓ edit-ഓ ഇല്ലാതെ count threshold-ൽ എത്തിയാൽ warning ഉയർത്തുന്നു. Finding-ൽ observed call count, threshold, zero recorded writes എന്നിവ ഉൾപ്പെടുന്നു.
Finding മാറ്റുന്ന വ്യത്യാസം
Trigger ആകുന്ന ഉദാഹരണം
25 reads, zero edits
Warning finding
നിശബ്ദ താരതമ്യം
24 reads, പിന്നൊരു edit
ഈ detector-ന് finding ഇല്ല.
പരിശോധിച്ച ഉദാഹരണത്തിൽ ഇരുപത്തഞ്ച് read calls ഒരു warning ഉണ്ടാക്കുന്നു. ആ calls-ൽ ഒന്ന് edit ആക്കിയാൽ ഈ detector നിശബ്ദമാകുന്നു. ഒരു fresh user turn window reset ചെയ്യുന്നു. ഒരു runtime-ന്റെ learned sample-ൽ writes ഒരിക്കലും expose ആകാത്ത ഇടത്ത്, ClawMetry ഈ signal disable ചെയ്യും.
Detector result പരിശോധിക്കുക
{
"kind": "no_progress",
"severity": "warning",
"evidence": {
"tool_calls": 25,
"writes": 0,
"threshold": 20,
"threshold_source": "static",
"baseline": null
}
}ഉദാഹരണം എങ്ങനെ പരിശോധിച്ചു
ഈ ഉദാഹരണങ്ങൾ authored event data-യോ disposable configuration files-ഓ ഉപയോഗിച്ച് published detector evaluate ചെയ്യുന്നു. Videos ആ behaviors ചിത്രീകരിക്കുന്നു. ഇവ live agents-ന്റെയോ product interface-ന്റെയോ recordings അല്ല. ഉദാഹരണങ്ങളിലെ ഒരു command-ഉം execute ചെയ്തിട്ടില്ല.
Result ഈ inputs-നുള്ള behavior സ്ഥാപിക്കുന്നു. Runtime ingestion, prevention, അല്ലെങ്കിൽ real compromise സ്ഥാപിക്കുന്നില്ല. Pinned source contract പരിശോധിക്കുക.
അടുത്തതായി എന്ത് പരിശോധിക്കണം
Task-ൽ നിന്ന് തുടങ്ങുക. Research-ൽ നിരവധി reads ശരിയാകാം. ഒരു requested code fix-ന് ഇടപെടൽ ആവശ്യമാകാം. Agent എന്ത് മനസ്സിലാക്കാൻ ശ്രമിക്കുന്നുവെന്ന് പരിശോധിക്കുക, stopping point വ്യക്തമാക്കുക, ആദ്യ meaningful change നോക്കുക.
- Task type പരിശോധിക്കുക
- ഏറ്റവും പുതിയ activity പരിശോധിക്കുക
- ഉപകാരപ്രദമായ ഒരു stopping point നിർവ്വചിക്കുക
ഈ signal എന്ത് സ്ഥാപിക്കുന്നു
Edit ഇല്ലെന്നത് waste ആണെന്ന് proof അല്ല. Read-only research legitimate ആകാം, thresholds ലഭ്യമായ telemetry-നെ ആശ്രയിക്കുന്നു.