यह कैसे नज़रअंदाज़ हो जाता है
आपके एजेंट ने एक और फ़ाइल खोली। और एक और। सेशन व्यस्त दिखता है, लेकिन fix अभी नहीं आई। जब आप कई agents देख रहे हों, तो गतिविधि की धारा उस टास्क को छुपा सकती है जो आगे नहीं बढ़ रहा।
मान लें आपने एक छोटा code change मांगा। एजेंट बिना कोई edit किए या turn समाप्त किए पच्चीस फ़ाइलें पढ़ता है। आप सेशन scroll करके यह पता लगा सकते थे। ClawMetry आपको जांच के लिए एक विशिष्ट signal देता है।
ClawMetry क्या डिटेक्ट करता है
No progress detector latest user turn या completion marker के बाद से tool calls गिनता है। अगर count किसी recognized write या edit के बिना threshold तक पहुंचे, तो warning उठाता है। Finding में observed call count, threshold और शून्य recorded writes शामिल हैं।
वह अंतर जो finding बदल देता है
Trigger करने वाला उदाहरण
25 reads, शून्य edits
Warning finding
शांत तुलना
24 reads, फिर एक edit
इस detector के लिए कोई finding नहीं।
जांचे गए उदाहरण में पच्चीस read calls warning उठाते हैं। उनमें से एक call को edit से बदलें, और यह detector शांत रहता है। नया user turn window reset करता है। जहां runtime अपने learned sample में writes कभी expose नहीं करता, ClawMetry हर सेशन flag करने की बजाय इस signal को disable कर सकता है।
Detector result की जांच करें
{
"kind": "no_progress",
"severity": "warning",
"evidence": {
"tool_calls": 25,
"writes": 0,
"threshold": 20,
"threshold_source": "static",
"baseline": null
}
}उदाहरण कैसे जांचा गया
ये उदाहरण published detector को authored event data या disposable configuration files के साथ evaluate करते हैं। वीडियो उन behaviors को दर्शाते हैं। ये live agents या product interface की recordings नहीं हैं। उदाहरणों में कोई command execute नहीं किया गया।
परिणाम इन inputs के लिए व्यवहार स्थापित करता है। यह runtime ingestion, prevention या वास्तविक compromise स्थापित नहीं करता। Pinned source contract की जांच करें.
आगे क्या जांचें
टास्क से शुरू करें। Research में सही रूप से कई reads शामिल हो सकते हैं। Requested code fix में हस्तक्षेप की ज़रूरत हो सकती है। देखें एजेंट क्या सीखने की कोशिश कर रहा है, रुकने का बिंदु स्पष्ट करें, और पहला सार्थक बदलाव खोजें।
- टास्क का प्रकार जांचें
- नवीनतम गतिविधि देखें
- एक उपयोगी रुकने का बिंदु तय करें
यह signal क्या स्थापित करता है
कोई recorded edit नहीं, यह बर्बाद काम का प्रमाण नहीं है। Read-only research वैध हो सकता है, और thresholds उपलब्ध telemetry पर निर्भर करते हैं।