हे कसे दुर्लक्षित राहते
बिल्ड अयशस्वी झाले, पण एजंट आधीच सारांश लिहायला निघाला. त्याने पुनर्प्राप्ती केली, की एक महत्त्वाची चूक दोन पायऱ्यांमध्ये नाहीशी झाली? पुढील कृती हीच अनेकदा उपयुक्त तपासणीची सुरुवात असते.
व्यस्त सत्रात, एखादी चूक वेगळ्या टूल कॉलच्या ठीक आधी दिसेनाशी होऊ शकते. एजंटकडे वैध पुनर्प्राप्ती धोरण असेल, किंवा तो अयशस्वीपणा न हाताळता पुढे जात असेल. दोन्हींपैकी काय आहे हे ठरवण्यासाठी आसपासचा क्रम पाहणे आवश्यक आहे.
ClawMetry काय ओळखते
ClawMetry अयशस्वी टूल निकालानंतर ओळखल्या न जाणाऱ्या पुनर्प्रयत्न किंवा स्वीकृतीशिवाय सुरू राहिलेल्या कृतींना चिन्हांकित करते. हे एक माहितीपर action discrepancy निष्कर्ष तयार करते. तो कमी तीव्रतेचा स्तर महत्त्वाचा आहे: हे संक्रमण तपासण्याचे निमंत्रण आहे, एजंटच्या हेतूबद्दल निर्णय नाही.
Finding बदलवणारा फरक
Trigger करणारे उदाहरण
अयशस्वी, वेगळे टूल
माहितीपर निष्कर्ष
शांत तुलना
अयशस्वी, त्याच टूलने पुनर्प्रयत्न
या detector साठी कोणतेही finding नाही.
तपासलेले उदाहरण शेल बिल्ड अयशस्वी करते आणि नंतर वेगळे टूल कॉल करते. यामुळे माहितीपर निष्कर्ष येतो. त्याच टूलने पुन्हा केलेला कॉल पुनर्प्रयत्न म्हणून गृहीत धरला जातो आणि या डिटेक्टरसाठी शांत राहतो.
Detector result तपासा
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}उदाहरण कसे तपासले गेले
ही उदाहरणे लेखी event data किंवा disposable configuration files सह प्रकाशित detector चे मूल्यांकन करतात. व्हिडिओ त्या वर्तनांचे उदाहरण देतात. ते live एजंट्स किंवा product interface चे रेकॉर्डिंग नाहीत. उदाहरणांमधील कोणताही command execute केला गेला नाही.
परिणाम या inputs साठी वर्तन स्थापित करतो. तो runtime ingestion, प्रतिबंध किंवा खरी तडजोड स्थापित करत नाही. Pinned source contract तपासा.
पुढे काय तपासायचे
अयशस्वी पाऊल आणि त्यानंतर काय झाले ते तुलना करा. नवीन कृती पुनर्प्राप्तीचा मार्ग होती का? चूक इतरत्र मान्य केली गेली का? पूर्णतेच्या अहवालावर अवलंबून राहण्यापूर्वी, अयशस्वी ऑपरेशनने जो निकाल द्यायचा होता तो तपासा.
- अयशस्वी result तपासा
- Recovery path तपासा
- दावा केलेला निकाल तपासा
हा signal काय स्थापित करतो
डिटेक्टर अंतिम पूर्णतेचा दावा तपासत नाही. दुसऱ्या टूलद्वारे वैध पुनर्प्राप्ती देखील जुळू शकते.