Prompt injection

ਇੱਕ ਪੇਜ ਨਿਰਦੇਸ਼ ਬਣ ਗਿਆ।

ਏਜੰਟ ਜੋ ਪੜ੍ਹਦਾ ਹੈ ਉਸ ਵਿੱਚ ਨਿਰਦੇਸ਼ਵਰਗੀ ਸਮੱਗਰੀ ਲੱਭੋ।

ਸਮੱਸਿਆ ਦੇਖੋ। ਖੋਜ ਸਮਝੋ।

ਅੰਗਰੇਜ਼ੀ ਬਿਰਤਾਂਤ ਕੈਪਸ਼ਨਾਂ ਨਾਲ।

ਇਹ ਕਿਵੇਂ ਅਣਡਿੱਠਾ ਹੋ ਜਾਂਦਾ ਹੈ

ਤੁਸੀਂ ਏਜੰਟ ਨੂੰ ਪੇਜ ਸੰਖੇਪ ਕਰਨ ਲਈ ਕਿਹਾ। ਪੇਜ ਏਜੰਟ ਨੂੰ ਪਹਿਲਾਂ ਕੁਝ ਹੋਰ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ। ਇਹ ਭਰੋਸੇ ਦੀ ਸੀਮਾ ਹੈ: ਬਾਹਰੀ ਸਮੱਗਰੀ ਤੁਹਾਡੇ ਕੰਮ ਦੇ ਅੰਦਰ ਨਿਰਦੇਸ਼ ਬਣਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੀ ਹੈ।

ਕਲਪਨਾ ਕਰੋ ਕਿ ਇੱਕ ਲਿਆਇਆ ਗਿਆ ਸਮੀਖਿਆ ਪੇਜ ਅਜਿਹਾ ਸੁਨੇਹਾ ਹੈ ਜੋ ਅਧਿਕਾਰ ਦਾ ਦਾਅਵਾ ਕਰਦਾ ਹੈ ਅਤੇ ਸੰਖੇਪ ਪੂਰਾ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਏਜੰਟ ਨੂੰ ਇੰਸਟੌਲਰ ਚਲਾਉਣ ਲਈ ਕਹਿੰਦਾ ਹੈ। ਉਪਯੋਗੀ ਸਰੋਤ ਸਮੱਗਰੀ ਵਿੱਚ, ਨਿਰਦੇਸ਼ ਮਨੁੱਖੀ ਸਮੀਖਿਅਕ ਲਈ ਅਸਾਨੀ ਨਾਲ ਖੁੰਝ ਜਾਂਦਾ ਹੈ।

ClawMetry ਕੀ ਖੋਜਦਾ ਹੈ

ClawMetry ਰਿਕਾਰਡ ਕੀਤੇ ਟੂਲ ਨਤੀਜਿਆਂ ਅਤੇ ਉਪਭੋਗਤਾ ਸਰੋਤ ਟੈਕਸਟ ਵਿੱਚ ਘੋਸ਼ਿਤ prompt injection ਦਸਤਖਤ ਜਾਂਚਦਾ ਹੈ। ਮੇਲ ਖਾਂਦੇ ਟੂਲ ਨਤੀਜੇ 'ਤੇ ਚੇਤਾਵਨੀ ਉਠਾਈ ਜਾਂਦੀ ਹੈ ਜੋ ਦਸਤਖਤ ਅਤੇ ਸਰੋਤ ਟੂਲ ਦੱਸਦੀ ਹੈ। ਖੋਜ ਲਈ ਮੇਲ ਖਾਂਦੇ ਟੈਕਸਟ ਦੀ ਕਾਪੀ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ।

ਉਹ ਫ਼ਰਕ ਜੋ ਖੋਜ ਬਦਲਦਾ ਹੈ

ਟਰਿੱਗਰ ਕਰਨ ਵਾਲੀ ਉਦਾਹਰਣ

ਪੇਜ ਏਜੰਟ ਨੂੰ ਕੰਮ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ

ਚੇਤਾਵਨੀ ਖੋਜ

ਸ਼ਾਂਤ ਤੁਲਨਾ

ਆਮ ਪੇਜ ਸਮੱਗਰੀ

ਇਸ detector ਲਈ ਕੋਈ ਖੋਜ ਨਹੀਂ।

ਜਾਂਚ ਕੀਤੀ ਉਦਾਹਰਨ ਲਿਆਏ ਗਏ ਪੇਜ ਵਿੱਚ ਜਾਅਲੀ ਨਿਰਦੇਸ਼ ਰੱਖਦੀ ਹੈ ਅਤੇ ਚੇਤਾਵਨੀ ਮਿਲਦੀ ਹੈ। ਆਮ ਹੋਟਲ ਵੇਰਵਾ ਚੁੱਪ ਰਹਿੰਦਾ ਹੈ। ਉਸੇ ਮੋੜ ਵਿੱਚ ਬਾਅਦ ਵਿੱਚ ਉੱਚ-ਜੋਖਮ ਟੂਲ ਕਾਲ ਗੰਭੀਰਤਾ ਵਧਾ ਸਕਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਘਟਨਾਵਾਂ ਦਾ ਕ੍ਰਮ ਸਮੀਖਿਆ ਦੇ ਯੋਗ ਹੈ।

Detector ਨਤੀਜਾ ਜਾਂਚੋ
{
  "kind": "prompt_injection",
  "severity": "warning",
  "evidence": {
    "source": "tool_result",
    "tool": "WebFetch",
    "signatures": [
      "forged_authority",
      "task_handoff"
    ],
    "signature_labels": [
      "imitates a system or authority message",
      "asks the agent to do something else before the user's task"
    ],
    "tool_result_matches": 1,
    "user_message_matches": 0,
    "followed_by_tool": null,
    "followed_by_risk": null,
    "threshold": 1,
    "threshold_source": "static",
    "observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
  }
}
ਇਨਪੁੱਟ ਅਤੇ ਪੂਰੇ ਨਤੀਜੇ ਡਾਊਨਲੋਡ ਕਰੋ (JSON)
ਉਦਾਹਰਣ ਕਿਵੇਂ ਜਾਂਚੀ ਗਈ

ਇਹ ਉਦਾਹਰਣਾਂ ਪ੍ਰਕਾਸ਼ਿਤ detector ਨੂੰ ਲਿਖੇ ਗਏ ਇਵੈਂਟ ਡੇਟਾ ਜਾਂ ਵਰਤਣਯੋਗ ਕੌਂਫਿਗਰੇਸ਼ਨ ਫਾਈਲਾਂ ਨਾਲ ਮੁਲਾਂਕਣ ਕਰਦੀਆਂ ਹਨ। ਵੀਡੀਓ ਉਹ ਵਿਵਹਾਰ ਦਰਸਾਉਂਦੇ ਹਨ। ਇਹ ਲਾਈਵ ਏਜੈਂਟਾਂ ਜਾਂ ਉਤਪਾਦ ਇੰਟਰਫੇਸ ਦੀਆਂ ਰਿਕਾਰਡਿੰਗਾਂ ਨਹੀਂ ਹਨ। ਉਦਾਹਰਣਾਂ ਵਿੱਚ ਕੋਈ ਕਮਾਂਡ ਚਲਾਈ ਨਹੀਂ ਗਈ।

ਨਤੀਜਾ ਇਹਨਾਂ ਇਨਪੁੱਟਾਂ ਲਈ ਵਿਵਹਾਰ ਸਥਾਪਤ ਕਰਦਾ ਹੈ। ਇਹ ਰਨਟਾਈਮ ਇੰਜੈਸ਼ਨ, ਰੋਕਥਾਮ ਜਾਂ ਅਸਲ ਖ਼ਤਰੇ ਨੂੰ ਸਾਬਿਤ ਨਹੀਂ ਕਰਦਾ। ਪਿੰਨ ਕੀਤਾ ਸਰੋਤ ਇਕਰਾਰਨਾਮਾ ਜਾਂਚੋ.

ਅਗਲਾ ਕੀ ਜਾਂਚਣਾ ਹੈ

ਉਹ ਸਰੋਤ ਜਾਂਚੋ ਜਿਸਨੇ ਸਮੱਗਰੀ ਸਪਲਾਈ ਕੀਤੀ ਅਤੇ ਉਸ ਤੋਂ ਬਾਅਦ ਦੀਆਂ ਕਾਰਵਾਈਆਂ। ਅਸਲ ਕੰਮ ਸਾਹਮਣੇ ਰੱਖੋ। ਕੀ ਏਜੰਟ ਨੇ ਬਾਹਰੀ ਟੈਕਸਟ ਨੂੰ ਅਧਿਕਾਰ ਮੰਨਿਆ, ਜਾਂ ਬੱਸ ਹਵਾਲਾ ਦਿੱਤਾ? ਅਸਲ ਰਿਕਾਰਡ ਕੀਤੀ ਗਤੀਵਿਧੀ ਨਾਲ ਉਸ ਸੀਮਾ ਦੀ ਜਾਂਚ ਕਰੋ।

  1. ਸਮੱਗਰੀ ਸਰੋਤ ਦੀ ਪਛਾਣ ਕਰੋ
  2. ਬਾਅਦ ਦੀਆਂ ਕਾਰਵਾਈਆਂ ਦੀ ਜਾਂਚ ਕਰੋ
  3. ਅਸਲ ਕੰਮ ਨਾਲ ਤੁਲਨਾ ਕਰੋ

ਇਹ ਸੰਕੇਤ ਕੀ ਸਥਾਪਤ ਕਰਦਾ ਹੈ

ਇਹ ਸੀਮਿਤ ਦਸਤਖਤ ਜਾਂਚਾਂ ਹਨ। ਪੈਰਾਫ੍ਰੇਜ਼ ਅਤੇ ਹੋਰ ਅਣਮੇਲ ਰੂਪ ਖੁੰਝ ਸਕਦੇ ਹਨ; ਮੇਲ ਇਹ ਸਾਬਿਤ ਨਹੀਂ ਕਰਦਾ ਕਿ ਏਜੰਟ ਨੇ ਮੰਨਿਆ।

ਮਹੱਤਵਪੂਰਨ ਪਲ ਦਿਖਾਈ ਦਿੰਦੇ ਰਹਿਣ।

ਏਜੈਂਟ ਗਤੀਵਿਧੀ ਫੌਲੋ ਕਰੋ, ਖੋਜਾਂ ਦੀ ਜਾਂਚ ਕਰੋ ਅਤੇ ਫ਼ੈਸਲਾ ਕਰੋ ਕਿ ਕਿਸ ਚੀਜ਼ ਵੱਲ ਧਿਆਨ ਦੇਣਾ ਹੈ।