ఇది ఎలా చూసీ చూడకుండా పోతుంది
మీరు ఏజెంట్ను పేజీ సారాంశం చేయమని అడిగారు. పేజీ ఏజెంట్కు ముందు వేరే పని చేయమని చెప్తుంది. అదే విశ్వాస సరిహద్దు: బాహ్య కంటెంట్ మీ పని లోపల సూచనగా మారడానికి ప్రయత్నిస్తోంది.
తెచ్చిన సమీక్ష పేజీలో అధికారం చెప్పుకుని, సారాంశం పూర్తి చేసే ముందు ఒక ఇన్స్టాలర్ రన్ చేయమని ఏజెంట్ను అడిగే సందేశం ఉందని ఊహించండి. ఉపయోగకరమైన మూల సామగ్రి మధ్య, ఆ సూచన మానవ సమీక్షకుడికి సులభంగా కనబడకపోవచ్చు.
ClawMetry ఏమి గుర్తిస్తుంది
ClawMetry రికార్డ్ చేయబడిన టూల్ ఫలితాలు మరియు వినియోగదారు మూల వచనాన్ని ప్రకటిత prompt injection సంతకాల కోసం తనిఖీ చేస్తుంది. సరిపోలే టూల్ ఫలితం సంతకం మరియు మూల టూల్ను పేరు పెట్టే హెచ్చరికను తెలుపుతుంది. నిర్ధారణలో సరిపోలే వచనాన్ని కాపీ చేయాల్సిన అవసరం లేదు.
ఫలితాన్ని మార్చే తేడా
ట్రిగ్గర్ ఉదాహరణ
పేజీ ఏజెంట్కు చర్య చెప్తుంది
హెచ్చరిక నిర్ధారణ
నిశ్శబ్ద పోలిక
సాధారణ పేజీ కంటెంట్
ఈ డిటెక్టర్కు ఫలితం లేదు.
తనిఖీ చేయబడిన ఉదాహరణలో తెచ్చిన పేజీలో నకిలీ సూచన ఉంచి హెచ్చరిక వస్తుంది. సాధారణ హోటల్ వివరణ నిశ్శబ్దంగా ఉంటుంది. అదే టర్న్లో తర్వాత అధిక ప్రమాద టూల్ కాల్ తీవ్రత పెంచవచ్చు, కాబట్టి ఈవెంట్ల క్రమం సమీక్షించదగినది.
డిటెక్టర్ ఫలితాన్ని పరిశీలించండి
{
"kind": "prompt_injection",
"severity": "warning",
"evidence": {
"source": "tool_result",
"tool": "WebFetch",
"signatures": [
"forged_authority",
"task_handoff"
],
"signature_labels": [
"imitates a system or authority message",
"asks the agent to do something else before the user's task"
],
"tool_result_matches": 1,
"user_message_matches": 0,
"followed_by_tool": null,
"followed_by_risk": null,
"threshold": 1,
"threshold_source": "static",
"observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
}
}ఇన్పుట్లు మరియు పూర్తి ఫలితాలను డౌన్లోడ్ చేయండి (JSON)ఉదాహరణ ఎలా తనిఖీ చేయబడింది
ఈ ఉదాహరణలు రచయిత ఈవెంట్ డేటా లేదా డిస్పోజబుల్ కాన్ఫిగరేషన్ ఫైల్లతో ప్రచురించిన డిటెక్టర్ను అంచనా వేస్తాయి. వీడియోలు ఆ ప్రవర్తనలను వివరిస్తాయి. ఇవి లైవ్ ఏజెంట్లు లేదా ప్రొడక్ట్ ఇంటర్ఫేస్ రికార్డింగ్లు కాదు. ఉదాహరణలలో ఏ కమాండ్ అమలు చేయబడలేదు.
ఫలితం ఈ ఇన్పుట్ల కోసం ప్రవర్తనను నిర్ధారిస్తుంది. ఇది రన్టైమ్ ఇంజెక్షన్, నివారణ లేదా నిజమైన రాజీని నిర్ధారించదు. పిన్ చేసిన సోర్స్ కాంట్రాక్ట్ను పరిశీలించండి.
తదుపరి ఏమి తనిఖీ చేయాలి
కంటెంట్ అందించిన మూలాన్ని మరియు తదుపరి చర్యలను పరిశీలించండి. అసలు పని దృష్టిలో ఉంచుకోండి. ఏజెంట్ బాహ్య వచనాన్ని అధికారంగా పరిగణించిందా, లేదా కేవలం ఉదహరించిందా? రికార్డ్ చేయబడిన అసలు కార్యకలాపంతో ఆ సరిహద్దును పరిశోధించడానికి నిర్ధారణను ఉపయోగించండి.
- కంటెంట్ మూలాన్ని గుర్తించండి
- తదుపరి చర్యలను పరిశీలించండి
- అసలు పనితో పోల్చండి
ఈ సిగ్నల్ ఏమి నిర్ధారిస్తుంది
ఇవి పరిమిత సంతకం తనిఖీలు. పేరాఫ్రేజ్లు మరియు ఇతర సరిపోలని రూపాలు మిస్ కావచ్చు; సరిపోలిక ఏజెంట్ పాటించిందని రుజువు కాదు.