איך זה נעלם מהעין
ביקשת מסוכן לסכם דף. הדף מנחה את הסוכן לעשות משהו אחר תחילה. זוהי גבול האמון: תוכן חיצוני מנסה להפוך להוראה בתוך המשימה שלך.
דמיין דף ביקורת שנשלף המכיל הודעה הטוענת לסמכות ומבקשת מהסוכן להריץ מתקין לפני סיום הסיכום. באמצע חומר מקור שימושי, ההוראה עלולה להיות קלה לפספוס על ידי בודק אנושי.
מה ClawMetry מזהה
ClawMetry בודק תוצאות כלים מוקלטות וטקסט ממקור המשתמש לאיתור חתימות הזרקת הנחיות מוצהרות. תוצאת כלי תואמת מעלה אזהרה הנוקבת בשם החתימה וכלי המקור. הממצא אינו צריך לחזור על הטקסט שהותאם.
ההבדל שמשנה את הממצא
דוגמה מפעילה
הדף מנחה את הסוכן לפעול
ממצא אזהרה
השוואה שקטה
תוכן דף רגיל
אין ממצא לגלאי זה.
הדוגמה הנבדקת מציבה הוראה מזויפת בדף שנשלף ומקבלת אזהרה. תיאור מלון רגיל נשאר שקט. קריאת כלי בסיכון גבוה מאוחר יותר באותו תור יכולה להגדיל את החומרה, מה שהופך את סדר האירועים לראוי לבחינה.
בדוק את תוצאת הגלאי
{
"kind": "prompt_injection",
"severity": "warning",
"evidence": {
"source": "tool_result",
"tool": "WebFetch",
"signatures": [
"forged_authority",
"task_handoff"
],
"signature_labels": [
"imitates a system or authority message",
"asks the agent to do something else before the user's task"
],
"tool_result_matches": 1,
"user_message_matches": 0,
"followed_by_tool": null,
"followed_by_risk": null,
"threshold": 1,
"threshold_source": "static",
"observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
}
}הורד קלטים ותוצאות מלאות (JSON)איך הדוגמה נבדקה
דוגמאות אלה מעריכות את הגלאי שפורסם עם נתוני אירועים שנוצרו או קבצי תצורה חד פעמיים. הסרטונים ממחישים את ההתנהגויות הללו. אינם הקלטות של סוכנים חיים או ממשק המוצר. אף פקודה בדוגמאות לא בוצעה.
התוצאה מבססת התנהגות עבור קלטים אלה. אינה מבססת קליטת זמן ריצה, מניעה או פגיעה אמיתית. בדוק את חוזה המקור המצומד.
מה לבדוק בהמשך
בדוק את המקור שסיפק את התוכן ואת הפעולות שבאו אחריו. שמור את המשימה המקורית בראייה. האם הסוכן התייחס לטקסט חיצוני כסמכות, או פשוט ציטט אותו? השתמש בממצא לחקירת גבול זה עם הפעילות המוקלטת בפועל.
- זהה את מקור התוכן
- בדוק פעולות עוקבות
- השווה עם המשימה המקורית
מה אות זה מבסס
אלה בדיקות חתימה מוגבלות. ניסוחים מחדש וצורות אחרות שאינן תואמות עלולות להיפספס; התאמה אינה מוכיחה שהסוכן ציית.