हे कसे दुर्लक्षित राहते
तुमच्या एजंटने आणखी एक फाइल उघडली. आणि आणखी एक. सेशन व्यस्त दिसते, पण fix अजूनही आलेला नाही. जेव्हा तुम्ही अनेक एजंट्स पाहत असता, तेव्हा activity चा प्रवाह एखाद्या न पुढे जाणाऱ्या टास्कला लपवू शकतो.
एक छोटासा code change मागण्याची कल्पना करा. एजंट edit किंवा turn पूर्ण न करता पंचवीस फाइल्स वाचतो. तुम्ही सेशन scroll करून ते शोधू शकता. ClawMetry त्याऐवजी तपासण्यासाठी एक विशिष्ट signal देते.
ClawMetry काय ओळखते
No progress detector नवीनतम user turn किंवा completion marker पासून tool कॉल्स मोजतो. कोणत्याही recognized write किंवा edit शिवाय count उंबरठ्यापर्यंत पोहोचल्यास warning उठवतो. Finding मध्ये observed call count, उंबरठा आणि शून्य recorded writes समाविष्ट असतात.
Finding बदलवणारा फरक
Trigger करणारे उदाहरण
25 reads, शून्य edits
Warning finding
शांत तुलना
24 reads, नंतर एक edit
या detector साठी कोणतेही finding नाही.
तपासलेल्या उदाहरणात पंचवीस read कॉल्स आहेत आणि warning येते. त्यातील एक कॉल edit ने बदलल्यास हा detector शांत राहतो. नवीन user turn window रीसेट करतो. जिथे runtime कधीच writes उघड करत नाही, ClawMetry प्रत्येक सेशन flag करण्याऐवजी हा signal अक्षम करू शकते.
Detector result तपासा
{
"kind": "no_progress",
"severity": "warning",
"evidence": {
"tool_calls": 25,
"writes": 0,
"threshold": 20,
"threshold_source": "static",
"baseline": null
}
}उदाहरण कसे तपासले गेले
ही उदाहरणे लेखी event data किंवा disposable configuration files सह प्रकाशित detector चे मूल्यांकन करतात. व्हिडिओ त्या वर्तनांचे उदाहरण देतात. ते live एजंट्स किंवा product interface चे रेकॉर्डिंग नाहीत. उदाहरणांमधील कोणताही command execute केला गेला नाही.
परिणाम या inputs साठी वर्तन स्थापित करतो. तो runtime ingestion, प्रतिबंध किंवा खरी तडजोड स्थापित करत नाही. Pinned source contract तपासा.
पुढे काय तपासायचे
टास्कपासून सुरुवात करा. Research साठी अनेक reads योग्य असू शकतात. Code fix साठी हस्तक्षेप आवश्यक असू शकतो. एजंट काय शिकण्याचा प्रयत्न करत आहे ते तपासा, थांबण्याचा बिंदू स्पष्ट करा आणि पहिला meaningful बदल शोधा.
- Task प्रकार तपासा
- नवीनतम activity तपासा
- उपयुक्त थांबण्याचा बिंदू निश्चित करा
हा signal काय स्थापित करतो
कोणताही recorded edit नाही म्हणजे वाया गेलेले काम नाही. Read-only research वैध असू शकते, आणि उंबरठे उपलब्ध telemetry वर अवलंबून असतात.