چگونه نادیده گرفته میشود
از یک عامل خواستید صفحهای را خلاصه کند. اما آن صفحه به عامل میگوید چیز دیگری انجام دهد. این مرز اعتماد است: محتوای خارجی تلاش میکند به دستوری در درون وظیفه شما تبدیل شود.
تصور کنید صفحهای بازیابیشده پیامی دارد که ادعای اختیار میکند و از عامل میخواهد پیش از تکمیل خلاصه یک نصبکننده اجرا کند. در میان منابع مفید، این دستور بهراحتی از دید بررسیکننده انسانی پنهان میماند.
آنچه ClawMetry شناسایی میکند
ClawMetry نتایج ثبتشده ابزار و متون ارسالی کاربر را برای امضاهای اعلامشده تزریق دستور بررسی میکند. تطابق یافتن یک هشدار ایجاد میکند که امضا و ابزار منبع را نام میبرد. یافته نیازی به تکرار متن تطابقیافته ندارد.
تفاوتی که یافته را تغییر میدهد
مثال محرک
صفحه به عامل دستور میدهد
یافته هشداری
مقایسه بدون هشدار
محتوای معمولی صفحه
هیچ یافتهای برای این آشکارساز وجود ندارد.
مثال بررسیشده یک دستور جعلی در صفحه بازیابیشده قرار میدهد و هشدار دریافت میکند. توضیح معمولی هتل بیصدا میماند. فراخوانی ابزار پرخطر بعدی در همان نوبت میتواند شدت را افزایش دهد، که بررسی ترتیب رویدادها را ارزشمند میکند.
نتیجه آشکارساز را بررسی کنید
{
"kind": "prompt_injection",
"severity": "warning",
"evidence": {
"source": "tool_result",
"tool": "WebFetch",
"signatures": [
"forged_authority",
"task_handoff"
],
"signature_labels": [
"imitates a system or authority message",
"asks the agent to do something else before the user's task"
],
"tool_result_matches": 1,
"user_message_matches": 0,
"followed_by_tool": null,
"followed_by_risk": null,
"threshold": 1,
"threshold_source": "static",
"observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
}
}چگونه مثال بررسی شد
این مثالها آشکارساز منتشرشده را با دادههای رویداد نوشتهشده یا فایلهای پیکربندی موقت ارزیابی میکنند. ویدیوها آن رفتارها را نشان میدهند. آنها ضبط عوامل زنده یا رابط محصول نیستند. هیچ دستوری در مثالها اجرا نشده است.
نتیجه رفتار را برای این ورودیها تعیین میکند. این نتیجه جذب زمان اجرا، پیشگیری یا یک نقض واقعی را ثابت نمیکند. قرارداد منبع ثابتشده را بررسی کنید.
آنچه بعداً باید بررسی کنید
منبعی که محتوا را ارائه داده و اقدامات پس از آن را بررسی کنید. وظیفه اصلی را در نظر داشته باشید. آیا عامل متن خارجی را بهعنوان مرجع پذیرفت یا صرفاً آن را نقل کرد؟ از این یافته برای بررسی آن مرز با فعالیت واقعی ثبتشده استفاده کنید.
- منبع محتوا را شناسایی کنید
- اقدامات بعدی را بررسی کنید
- با وظیفه اصلی مقایسه کنید
آنچه این سیگنال ثابت میکند
اینها بررسیهای امضای محدود هستند. بازنویسیها و فرمهای تطابقنیافته ممکن است از دید پنهان بمانند؛ تطابق اثبات نمیکند که عامل اطاعت کرده است.