ಒಂದು ಪುಟ ಸೂಚನೆಯಾಯಿತು.

ಇದು ಹೇಗೆ ಗಮನಕ್ಕೆ ಬರುವುದಿಲ್ಲ

ನೀವು ಏಜೆಂಟ್‌ಗೆ ಪುಟ ಸಾರಾಂಶ ಮಾಡಲು ಹೇಳಿದಿರಿ. ಪುಟ ಏಜೆಂಟ್‌ಗೆ ಮೊದಲು ಬೇರೆ ಕೆಲಸ ಮಾಡಲು ಹೇಳುತ್ತದೆ. ಇದೇ ನಂಬಿಕೆ ಗಡಿ: ಬಾಹ್ಯ ವಿಷಯ ನಿಮ್ಮ ಕಾರ್ಯದೊಳಗೆ ಸೂಚನೆಯಾಗಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದೆ.

ತರಿಸಿದ ವಿಮರ್ಶಾ ಪುಟ ಅಧಿಕಾರ ಹೇಳಿಕೊಂಡು ಸಾರಾಂಶ ಮುಗಿಸುವ ಮೊದಲು ಇನ್ಸ್ಟಾಲರ್ ರನ್ ಮಾಡಲು ಕೇಳುವ ಸಂದೇಶ ಹೊಂದಿದೆ ಎಂದು ಊಹಿಸಿ. ಉಪಯುಕ್ತ ಮೂಲ ವಸ್ತುವಿನ ನಡುವೆ ಮಾನವ ಪರಿಶೀಲಕನಿಗೆ ಸೂಚನೆ ಸುಲಭವಾಗಿ ತಪ್ಪಿಹೋಗಬಹುದು.

ClawMetry ಏನನ್ನು ಪತ್ತೆಹಚ್ಚುತ್ತದೆ

ClawMetry ದಾಖಲಾದ ಉಪಕರಣ ಫಲಿತಾಂಶಗಳು ಮತ್ತು ಬಳಕೆದಾರ ಮೂಲ ಪಠ್ಯದಲ್ಲಿ ಘೋಷಿತ prompt injection ಸಹಿಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ. ಹೊಂದಾಣಿಕೆಯ ಉಪಕರಣ ಫಲಿತಾಂಶ ಸಹಿ ಮತ್ತು ಮೂಲ ಉಪಕರಣ ಹೆಸರಿಸುವ ಎಚ್ಚರಿಕೆ ಎತ್ತುತ್ತದೆ. ಸಂಶೋಧನೆ ಹೊಂದಿದ ಪಠ್ಯ ನಕಲು ಮಾಡಬೇಕಿಲ್ಲ.

ಫಲಿತಾಂಶ ಬದಲಾಯಿಸುವ ವ್ಯತ್ಯಾಸ

ಪರಿಶೀಲಿತ ಉದಾಹರಣೆ ತರಿಸಿದ ಪುಟದಲ್ಲಿ ನಕಲಿ ಸೂಚನೆ ಇಟ್ಟು ಎಚ್ಚರಿಕೆ ಪಡೆಯುತ್ತದೆ. ಸಾಮಾನ್ಯ ಹೋಟೆಲ್ ವಿವರಣೆ ಮೌನವಾಗಿರುತ್ತದೆ. ಅದೇ ತಿರುವಿನ ನಂತರದ ಹೆಚ್ಚಿನ ಅಪಾಯದ ಉಪಕರಣ ಕರೆ ತೀವ್ರತೆ ಹೆಚ್ಚಿಸಬಹುದು, ಆದ್ದರಿಂದ ಈವೆಂಟ್ ಅನುಕ್ರಮ ಪರಿಶೀಲಿಸುವುದು ಮುಖ್ಯ.

{
  "kind": "prompt_injection",
  "severity": "warning",
  "evidence": {
    "source": "tool_result",
    "tool": "WebFetch",
    "signatures": [
      "forged_authority",
      "task_handoff"
    ],
    "signature_labels": [
      "imitates a system or authority message",
      "asks the agent to do something else before the user's task"
    ],
    "tool_result_matches": 1,
    "user_message_matches": 0,
    "followed_by_tool": null,
    "followed_by_risk": null,
    "threshold": 1,
    "threshold_source": "static",
    "observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
  }
}

ಮುಂದೆ ಏನು ಪರಿಶೀಲಿಸಬೇಕು

ವಿಷಯ ಒದಗಿಸಿದ ಮೂಲ ಮತ್ತು ನಂತರದ ಕ್ರಿಯೆಗಳು ಪರಿಶೀಲಿಸಿ. ಮೂಲ ಕಾರ್ಯ ದೃಷ್ಟಿಯಲ್ಲಿ ಇಟ್ಟುಕೊಳ್ಳಿ. ಏಜೆಂಟ್ ಬಾಹ್ಯ ಪಠ್ಯವನ್ನು ಅಧಿಕಾರ ಎಂದು ಪರಿಗಣಿಸಿತೇ, ಅಥವಾ ಕೇವಲ ಉಲ್ಲೇಖಿಸಿತೇ? ವಾಸ್ತವ ದಾಖಲಾದ ಚಟುವಟಿಕೆಯೊಂದಿಗೆ ಆ ಗಡಿ ತನಿಖೆ ಮಾಡಲು ಸಂಶೋಧನೆ ಬಳಸಿ.

1. ವಿಷಯ ಮೂಲ ಗುರುತಿಸಿ
2. ನಂತರದ ಕ್ರಿಯೆಗಳು ಪರಿಶೀಲಿಸಿ
3. ಮೂಲ ಕಾರ್ಯದೊಂದಿಗೆ ಹೋಲಿಸಿ