یہ کیسے نظرانداز ہو جاتا ہے
build ناکام ہوئی، لیکن ایجنٹ خلاصہ لکھنے میں لگ گیا۔ کیا اس نے recover کیا، یا ایک اہم ناکامی دو قدموں کے درمیان غائب ہو گئی؟ اگلا عمل اکثر وہی جگہ ہے جہاں مفید review شروع ہونی چاہیے۔
ایک مصروف سیشن میں، کوئی مختلف tool call سے ذرا پہلے ایک error گزر سکتی ہے۔ ایجنٹ کے پاس درست recovery strategy ہو سکتی ہے۔ یا وہ ناکامی سنبھالے بغیر آگے بڑھ رہا ہو۔ دونوں صورتوں میں، فیصلہ کرنے کے لیے آپ کو آس پاس کی ترتیب چاہیے۔
ClawMetry کیا detect کرتا ہے
ClawMetry ایک ناکام tool نتیجے کے بعد بغیر recognized retry یا acknowledgement کے جاری سرگرمی کو flag کرتا ہے۔ یہ ایک informational action discrepancy finding بناتا ہے۔ وہ کم severity اہم ہے: یہ transition جانچنے کا اشارہ ہے، ایجنٹ کی نیت کے بارے میں فیصلہ نہیں۔
وہ فرق جو finding بدل دیتا ہے
trigger کرنے والی مثال
ناکامی، مختلف tool
معلوماتی finding
خاموش موازنہ
ناکامی، اسی tool سے retry
اس detector کے لیے کوئی finding نہیں۔
جانچی گئی مثال ایک shell build ناکام کرتی ہے اور پھر مختلف tool کو call کرتی ہے۔ یہ ایک informational finding جاری کرتی ہے۔ ایک ہی tool کی اگلی call کو retry سمجھا جاتا ہے اور یہ detector اس پر خاموش رہتا ہے۔
detector نتیجہ جانچیں
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}مثال کو کیسے جانچا گیا
یہ مثالیں تیار کردہ event data یا قابل استعمال configuration files کے ساتھ شائع شدہ detector کا جائزہ لیتی ہیں۔ ویڈیوز ان رویوں کو واضح کرتی ہیں۔ یہ لائیو ایجنٹس یا پروڈکٹ interface کی ریکارڈنگ نہیں ہیں۔ مثالوں میں کوئی command execute نہیں کی گئی۔
نتیجہ ان inputs کے لیے رویہ قائم کرتا ہے۔ یہ runtime ingestion، روک تھام یا حقیقی خطرے کو ثابت نہیں کرتا۔ pinned source contract جانچیں.
آگے کیا چیک کریں
ناکام قدم کا موازنہ اس سے کریں جو بعد میں ہوا۔ کیا نیا عمل recovery راستہ تھا؟ کیا error کہیں اور تسلیم کی گئی؟ completion report پر بھروسہ کرنے سے پہلے، وہ بنیادی نتیجہ verify کریں جو ناکام operation کو دینا تھا۔
- ناکام نتیجہ جانچیں
- recovery راستہ چیک کریں
- دعوی کردہ نتیجہ verify کریں
یہ signal کیا ثابت کرتا ہے
یہ detector حتمی completion claim verify نہیں کرتا۔ کسی اور tool کے ذریعے جائز recovery بھی match کر سکتی ہے۔