ایک صفحہ ہدایت بن گئی۔

یہ کیسے نظرانداز ہو جاتا ہے

آپ نے ایجنٹ سے ایک صفحہ خلاصہ کرنے کو کہا۔ صفحے نے ایجنٹ کو پہلے کچھ اور کرنے کی ہدایت دی۔ یہی اعتماد کی حد ہے، بیرونی مواد آپ کے کام کے اندر ہدایت بننے کی کوشش کر رہا ہے۔

تصور کریں کہ ایک حاصل کیا گیا صفحہ ایک پیغام پر مشتمل ہے جو اختیار کا دعویٰ کرتا ہے اور ایجنٹ سے خلاصہ مکمل کرنے سے پہلے ایک انسٹالر چلانے کو کہتا ہے۔ مفید ماخذ مواد کے درمیان، یہ ہدایت انسانی جائزہ کار کی نظر سے آسانی سے چھوٹ سکتی ہے۔

ClawMetry کیا detect کرتا ہے

ClawMetry ریکارڈ شدہ ٹول نتائج اور صارف کے فراہم کردہ متن میں معروف پرامپٹ انجیکشن دستخطوں کی جانچ کرتا ہے۔ مطابق ٹول نتیجہ ایک تنبیہ اٹھاتا ہے جو دستخط اور ماخذ ٹول کا نام لیتا ہے۔ نتیجے کو مطابق متن دہرانے کی ضرورت نہیں۔

وہ فرق جو finding بدل دیتا ہے

جانچے گئے مثال میں ایک جعلی ہدایت حاصل کیے گئے صفحے میں رکھی گئی ہے اور تنبیہ ملتی ہے۔ ایک عام ہوٹل کی تفصیل خاموش رہتی ہے۔ اسی موڑ میں بعد میں آنے والی اعلی خطرے والی ٹول کال شدت بڑھا سکتی ہے، جو واقعات کی ترتیب کا جائزہ لینے کو اہم بناتی ہے۔

{
  "kind": "prompt_injection",
  "severity": "warning",
  "evidence": {
    "source": "tool_result",
    "tool": "WebFetch",
    "signatures": [
      "forged_authority",
      "task_handoff"
    ],
    "signature_labels": [
      "imitates a system or authority message",
      "asks the agent to do something else before the user's task"
    ],
    "tool_result_matches": 1,
    "user_message_matches": 0,
    "followed_by_tool": null,
    "followed_by_risk": null,
    "threshold": 1,
    "threshold_source": "static",
    "observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
  }
}

آگے کیا چیک کریں

وہ ماخذ جانچیں جس نے مواد فراہم کیا اور اس کے بعد کے اعمال دیکھیں۔ اصل کام کو نظر میں رکھیں۔ کیا ایجنٹ نے بیرونی متن کو اختیار سمجھا، یا محض اقتباس کیا؟ نتیجے کو اصل ریکارڈ شدہ سرگرمی کے ساتھ اس حد کی تحقیق میں استعمال کریں۔

1. مواد کے ذریعہ کی شناخت کریں
2. بعد کے اعمال کا معائنہ کریں
3. اصل کام سے موازنہ کریں