இது எப்படி கவனிக்கப்படாமல் போகிறது
ஒரு பக்கத்தை சுருக்கும்படி agent-ஐ கேட்டீர்கள். பக்கம் agent-ஐ வேறு ஒன்று முதலில் செய்யும்படி சொல்கிறது. அது நம்பிக்கை எல்லை: வெளி உள்ளடக்கம் உங்கள் பணிக்குள் வழிமுறையாக மாற முயற்சிக்கிறது.
பெறப்பட்ட மதிப்பாய்வு பக்கம் அதிகாரம் கோரி, சுருக்கம் முடிப்பதற்கு முன் installer இயக்கும்படி கேட்கும் செய்தி கொண்டிருப்பதை கற்பனை செய்யுங்கள். பயனுள்ள மூல உள்ளடக்கத்தின் நடுவில், வழிமுறை மனித மதிப்பாய்வாளருக்கு கண்டுகொள்ளாமல் போகலாம்.
ClawMetry என்ன கண்டறிகிறது
ClawMetry, பதிவு செய்யப்பட்ட tool முடிவுகள் மற்றும் பயனர் மூல உரையை அறிவிக்கப்பட்ட prompt injection கையொப்பங்களுக்கு சரிபாருக்கிறது. பொருந்திய tool முடிவு கையொப்பம் மற்றும் மூல tool-ஐ பெயரிடும் எச்சரிக்கையை எழுப்புகிறது. கண்டறிவு பொருந்திய உரையை நகலெடுக்க வேண்டியதில்லை.
கண்டுபிடிப்பை மாற்றும் வேறுபாடு
தூண்டும் எடுத்துக்காட்டு
பக்கம் agent-ஐ செயல்பட சொல்கிறது
எச்சரிக்கை கண்டறிவு
அமைதியான ஒப்பீடு
சாதாரண பக்க உள்ளடக்கம்
இந்த detector-க்கு எந்த கண்டுபிடிப்பும் இல்லை.
சரிபார்க்கப்பட்ட உதாரணம் பெறப்பட்ட பக்கத்தில் போலி வழிமுறையை வைத்து எச்சரிக்கை பெறுகிறது. சாதாரண ஹோட்டல் விவரிப்பு அமைதியாக இருக்கும். அதே திருப்பத்தில் பிற்பாடு வரும் அதிக ஆபத்துள்ள tool அழைப்பு தீவிரத்தை அதிகரிக்கலாம், நிகழ்வு வரிசை மதிப்பாய்வு செய்ய மதிப்புள்ளது.
Detector முடிவை ஆய்வு செய்யுங்கள்
{
"kind": "prompt_injection",
"severity": "warning",
"evidence": {
"source": "tool_result",
"tool": "WebFetch",
"signatures": [
"forged_authority",
"task_handoff"
],
"signature_labels": [
"imitates a system or authority message",
"asks the agent to do something else before the user's task"
],
"tool_result_matches": 1,
"user_message_matches": 0,
"followed_by_tool": null,
"followed_by_risk": null,
"threshold": 1,
"threshold_source": "static",
"observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
}
}எடுத்துக்காட்டு எப்படி சரிபார்க்கப்பட்டது
இந்த எடுத்துக்காட்டுகள் எழுதப்பட்ட event data அல்லது disposable configuration files-உடன் வெளியிடப்பட்ட detector-ஐ மதிப்பிடுகின்றன. வீடியோக்கள் அந்த நடத்தைகளை விளக்குகின்றன. அவை live agents அல்லது தயாரிப்பு இடைமுகத்தின் பதிவுகள் அல்ல. எடுத்துக்காட்டுகளில் எந்த கட்டளையும் இயக்கப்படவில்லை.
முடிவு இந்த உள்ளீடுகளுக்கான நடத்தையை நிறுவுகிறது. Runtime ingestion, தடுப்பு அல்லது உண்மையான சமரசத்தை நிறுவுவதில்லை. Pinned source contract ஆய்வு செய்யுங்கள்.
அடுத்து என்ன சரிபார்க்கலாம்
உள்ளடக்கம் வழங்கிய மூலத்தையும் பின்வந்த செயல்களையும் ஆய்வு செய்யுங்கள். அசல் பணியை கண்முன் வையுங்கள். agent வெளி உரையை அதிகாரமாக கருதியதா, அல்லது மேற்கோள் காட்டியதா? உண்மையான பதிவு செய்யப்பட்ட செயல்பாட்டுடன் அந்த எல்லையை ஆய்வு செய்ய கண்டறிவை பயன்படுத்துங்கள்.
- உள்ளடக்க மூலத்தை அடையாளம் காணுங்கள்
- அடுத்தடுத்த செயல்களை ஆய்வு செய்யுங்கள்
- அசல் பணியுடன் ஒப்பிடுங்கள்
இந்த signal என்ன நிறுவுகிறது
இவை வரையறுக்கப்பட்ட கையொப்ப சரிபார்ப்புகள். வேறு வார்த்தைகளில் சொல்லப்பட்ட மற்றும் பொருந்தாத வடிவங்கள் தவறவிடப்படலாம்; பொருந்துகிறது என்பது agent கீழ்ப்படிந்தது என்று நிரூபிக்காது.