چگونه نادیده گرفته میشود
ساخت شکست خورد، اما عامل قبلاً به نوشتن خلاصه رفته است. آیا بازیابی کرد، یا یک شکست مهم بین دو مرحله ناپدید شد؟ اقدام بعدی اغلب جایی است که یک بررسی مفید باید شروع شود.
در یک جلسه پرمشغله، یک خطا میتواند درست قبل از یک فراخوانی ابزار متفاوت از صفحه عبور کند. عامل ممکن است یک استراتژی بازیابی معتبر داشته باشد. یا ممکن است بدون رسیدگی به شکست ادامه دهد. در هر صورت، برای تصمیمگیری به توالی اطراف نیاز دارید.
آنچه ClawMetry شناسایی میکند
ClawMetry یک نتیجه ابزار شکستخورده را که با فعالیت ادامهدار بدون تلاش مجدد یا تأیید شناختهشده دنبال میشود علامتگذاری میکند. یک یافته ناهماهنگی اقدام اطلاعاتی ایجاد میکند. آن شدت پایینتر اهمیت دارد: این یک دعوت برای بررسی انتقال است، نه یک حکم درباره قصد عامل.
تفاوتی که یافته را تغییر میدهد
مثال محرک
شکست، ابزار متفاوت
یافته اطلاعاتی
مقایسه بدون هشدار
شکست، تلاش مجدد با همان ابزار
هیچ یافتهای برای این آشکارساز وجود ندارد.
مثال بررسیشده یک ساخت shell را شکست میدهد و سپس یک ابزار متفاوت را فراخوانی میکند. یک یافته اطلاعاتی ایجاد میکند. یک شکست که با فراخوانی دیگری به همان ابزار دنبال میشود به عنوان یک تلاش مجدد تلقی میشود و برای این آشکارساز ساکت میماند.
نتیجه آشکارساز را بررسی کنید
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}چگونه مثال بررسی شد
این مثالها آشکارساز منتشرشده را با دادههای رویداد نوشتهشده یا فایلهای پیکربندی موقت ارزیابی میکنند. ویدیوها آن رفتارها را نشان میدهند. آنها ضبط عوامل زنده یا رابط محصول نیستند. هیچ دستوری در مثالها اجرا نشده است.
نتیجه رفتار را برای این ورودیها تعیین میکند. این نتیجه جذب زمان اجرا، پیشگیری یا یک نقض واقعی را ثابت نمیکند. قرارداد منبع ثابتشده را بررسی کنید.
آنچه بعداً باید بررسی کنید
مرحله شکستخورده را با آنچه دنبال شد مقایسه کنید. آیا اقدام جدید یک مسیر بازیابی بود؟ آیا خطا در جای دیگری تأیید شد؟ قبل از تکیه بر گزارش تکمیل، نتیجه زیرین که عملیات شکستخورده قرار بود تولید کند را تأیید کنید.
- نتیجه شکستخورده را بررسی کنید
- مسیر بازیابی را بررسی کنید
- نتیجه ادعاشده را تأیید کنید
آنچه این سیگنال ثابت میکند
آشکارساز ادعای تکمیل نهایی را تأیید نمیکند. بازیابی مشروع از طریق ابزار دیگری نیز میتواند با این الگو مطابقت داشته باشد.