Ang isang pahina ay naging instruksyon.

Paano ito nababalewalaan

Humingi ka sa ahente na i-buod ang isang pahina. Sinabi ng pahina sa ahente na gumawa muna ng ibang bagay. Iyon ang hangganan ng tiwala: sinisikap ng panlabas na nilalaman na maging instruksyon sa loob ng iyong gawain.

Isipin ang isang kinuhang review page na may mensaheng nagkukuha ng awtoridad at humihingi sa ahente na magpatakbo ng installer bago tapusin ang buod. Sa gitna ng kapaki-pakinabang na materyal, madaling mapalampas ng tagasuri ang instruksyon.

Ano ang natutukoy ng ClawMetry

Sinusuri ng ClawMetry ang mga naitalaang resulta ng tool at text mula sa gumagamit para sa mga kilalang prompt injection na lagda. Ang katugmang resulta ng tool ay nagtataas ng babala na pinangalanan ang lagda at tool ng pinagmulan. Hindi na kailangang ulitin ng natuklasan ang katugmang text.

Ang pagkakaibang nagbabago ng natuklasan

Ang sinusuring halimbawa ay naglalagay ng pekeng instruksyon sa isang kinuhang pahina at nakakakuha ng babala. Ang karaniwang paglalarawan ng hotel ay nananatiling tahimik. Ang susunod na mataas na panganib na tawag ng tool sa parehong pagkakataon ay maaaring palakihin ang kalubhaan, kaya naman karapat-dapat suriin ang pagkakasunod ng mga pangyayari.

{
  "kind": "prompt_injection",
  "severity": "warning",
  "evidence": {
    "source": "tool_result",
    "tool": "WebFetch",
    "signatures": [
      "forged_authority",
      "task_handoff"
    ],
    "signature_labels": [
      "imitates a system or authority message",
      "asks the agent to do something else before the user's task"
    ],
    "tool_result_matches": 1,
    "user_message_matches": 0,
    "followed_by_tool": null,
    "followed_by_risk": null,
    "threshold": 1,
    "threshold_source": "static",
    "observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
  }
}

Ano ang susunod na titingnan

Suriin ang pinagmulan ng nilalaman at ang mga aksyong sumunod. Itago sa isip ang orihinal na gawain. Itinuring ba ng ahente ang panlabas na text bilang awtoridad, o sinipi lamang ito? Gamitin ang natuklasan upang imbestigahan ang hangganan na iyon gamit ang aktwal na naitalaang aktibidad.

1. Tukuyin ang pinagkukunan ng nilalaman
2. Suriin ang mga kasunod na aksyon
3. Ihambing sa orihinal na gawain