हे कसे दुर्लक्षित राहते
तुम्ही एजंटला एक पृष्ठ सारांशित करण्यास सांगितले. पृष्ठ एजंटला आधी वेगळे काही करण्यास सांगते. हीच विश्वासाची सीमा आहे: बाह्य सामग्री तुमच्या कामात सूचना बनण्याचा प्रयत्न करतेय.
कल्पना करा एका मिळालेल्या रिव्ह्यू पृष्ठात असा संदेश आहे जो अधिकाराचा दावा करतो आणि सारांश पूर्ण करण्यापूर्वी इन्स्टॉलर चालवण्यास सांगतो. उपयुक्त स्रोत सामग्रीच्या मध्ये ती सूचना मानवी समीक्षकाला सहज चुकू शकते.
ClawMetry काय ओळखते
ClawMetry नोंदवलेल्या टूल निकालांमध्ये आणि वापरकर्त्याकडून आलेल्या मजकुरात घोषित prompt injection स्वाक्षऱ्या तपासते. जुळणारा टूल निकाल स्वाक्षरी आणि स्रोत टूलचे नाव सांगणारा इशारा देतो.
Finding बदलवणारा फरक
Trigger करणारे उदाहरण
पृष्ठ एजंटला कृती करण्यास सांगते
इशारा निष्कर्ष
शांत तुलना
सामान्य पृष्ठ सामग्री
या detector साठी कोणतेही finding नाही.
तपासलेल्या उदाहरणात मिळालेल्या पृष्ठात बनावट सूचना ठेवली जाते आणि इशारा मिळतो. सामान्य हॉटेल वर्णन शांत राहते. त्याच वेळातील नंतरचा उच्च-जोखमीचा टूल कॉल तीव्रता वाढवू शकतो.
Detector result तपासा
{
"kind": "prompt_injection",
"severity": "warning",
"evidence": {
"source": "tool_result",
"tool": "WebFetch",
"signatures": [
"forged_authority",
"task_handoff"
],
"signature_labels": [
"imitates a system or authority message",
"asks the agent to do something else before the user's task"
],
"tool_result_matches": 1,
"user_message_matches": 0,
"followed_by_tool": null,
"followed_by_risk": null,
"threshold": 1,
"threshold_source": "static",
"observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
}
}उदाहरण कसे तपासले गेले
ही उदाहरणे लेखी event data किंवा disposable configuration files सह प्रकाशित detector चे मूल्यांकन करतात. व्हिडिओ त्या वर्तनांचे उदाहरण देतात. ते live एजंट्स किंवा product interface चे रेकॉर्डिंग नाहीत. उदाहरणांमधील कोणताही command execute केला गेला नाही.
परिणाम या inputs साठी वर्तन स्थापित करतो. तो runtime ingestion, प्रतिबंध किंवा खरी तडजोड स्थापित करत नाही. Pinned source contract तपासा.
पुढे काय तपासायचे
सामग्री पुरवणारा स्रोत आणि त्यानंतरच्या कृती तपासा. मूळ काम नजरेसमोर ठेवा. एजंटने बाहेरचा मजकूर अधिकार म्हणून मानला, की फक्त उद्धृत केला? निष्कर्ष वापरून त्या सीमेचे प्रत्यक्ष नोंदवलेल्या क्रियाकलापाने परीक्षण करा.
- सामग्री स्रोत ओळखा
- नंतरच्या कृती तपासा
- मूळ कामाशी तुलना करा
हा signal काय स्थापित करतो
या मर्यादित स्वाक्षरी तपासण्या आहेत. शब्दांतर आणि इतर न जुळणारे प्रकार चुकू शकतात; जुळणी म्हणजे एजंटने पालन केले असे नाही.