यह कैसे नज़रअंदाज़ हो जाता है
बिल्ड विफल हुई, लेकिन एजेंट पहले ही सारांश लिखने में लग गया। क्या उसने रिकवर किया, या एक महत्वपूर्ण विफलता दो चरणों के बीच कहीं गायब हो गई? अगला एक्शन अक्सर वह जगह होती है जहाँ समीक्षा शुरू होनी चाहिए।
व्यस्त सेशन में कोई एरर एक अलग टूल कॉल से ठीक पहले नज़रअंदाज़ हो सकती है। एजेंट के पास एक वैध रिकवरी रणनीति हो सकती है, या वह विफलता को संभाले बिना आगे बढ़ रहा हो। किसी भी स्थिति में, निर्णय लेने के लिए आपको आसपास का क्रम देखना होगा।
ClawMetry क्या डिटेक्ट करता है
ClawMetry एक विफल टूल परिणाम के बाद बिना मान्यता प्राप्त retry या स्वीकृति के जारी गतिविधि को फ्लैग करता है। यह एक सूचनात्मक action discrepancy निष्कर्ष बनाता है। कम गंभीरता मायने रखती है: यह संक्रमण की जाँच करने का संकेत है, एजेंट की मंशा पर फैसला नहीं।
वह अंतर जो finding बदल देता है
Trigger करने वाला उदाहरण
विफलता, अलग टूल
सूचनात्मक निष्कर्ष
शांत तुलना
विफलता, उसी टूल का retry
इस detector के लिए कोई finding नहीं।
जाँचे गए उदाहरण में शेल बिल्ड विफल होती है और फिर एक अलग टूल कॉल होता है। यह एक सूचनात्मक निष्कर्ष उठाता है। उसी टूल पर की गई retry इस डिटेक्टर के लिए चुप रहती है।
Detector result की जांच करें
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}उदाहरण कैसे जांचा गया
ये उदाहरण published detector को authored event data या disposable configuration files के साथ evaluate करते हैं। वीडियो उन behaviors को दर्शाते हैं। ये live agents या product interface की recordings नहीं हैं। उदाहरणों में कोई command execute नहीं किया गया।
परिणाम इन inputs के लिए व्यवहार स्थापित करता है। यह runtime ingestion, prevention या वास्तविक compromise स्थापित नहीं करता। Pinned source contract की जांच करें.
आगे क्या जांचें
विफल चरण की तुलना आगे हुए कार्य से करें। क्या नया एक्शन रिकवरी पथ था? क्या एरर कहीं और स्वीकार की गई? किसी पूर्णता रिपोर्ट पर भरोसा करने से पहले उस अंतर्निहित परिणाम की पुष्टि करें जो विफल ऑपरेशन को उत्पन्न करना था।
- विफल result की जांच करें
- Recovery path जांचें
- दावा किए गए परिणाम की पुष्टि करें
यह signal क्या स्थापित करता है
डिटेक्टर अंतिम पूर्णता दावे की पुष्टि नहीं करता। दूसरे टूल के माध्यम से वैध रिकवरी भी मेल खा सकती है।