Bagaimana ini bisa terlewat
Anda meminta agen merangkum sebuah halaman. Halaman tersebut memerintahkan agen untuk melakukan hal lain terlebih dahulu. Itulah batas kepercayaan: konten dari luar mencoba menjadi instruksi di dalam tugas Anda.
Bayangkan sebuah halaman ulasan yang diambil berisi pesan yang mengklaim otoritas dan meminta agen menjalankan penginstal sebelum menyelesaikan ringkasan. Di tengah materi sumber yang berguna, instruksi tersebut mudah terlewatkan oleh peninjau manusia.
Apa yang dideteksi ClawMetry
ClawMetry memeriksa hasil alat yang tercatat dan teks dari pengguna untuk mendeteksi tanda tangan injeksi prompt yang dideklarasikan. Hasil alat yang cocok memunculkan peringatan yang menyebutkan tanda tangan dan alat sumbernya. Temuan tidak perlu mengulang teks yang cocok.
Perbedaan yang mengubah temuan
Contoh pemicu
Halaman memerintahkan agen untuk bertindak
Temuan peringatan
Perbandingan tenang
Konten halaman biasa
Tidak ada temuan untuk detektor ini.
Contoh yang diperiksa menempatkan instruksi palsu di halaman yang diambil dan menghasilkan peringatan. Deskripsi hotel biasa tetap tenang. Pemanggilan alat berisiko tinggi di giliran yang sama dapat meningkatkan tingkat keparahan, sehingga urutan kejadian layak ditinjau.
Periksa hasil detektor
{
"kind": "prompt_injection",
"severity": "warning",
"evidence": {
"source": "tool_result",
"tool": "WebFetch",
"signatures": [
"forged_authority",
"task_handoff"
],
"signature_labels": [
"imitates a system or authority message",
"asks the agent to do something else before the user's task"
],
"tool_result_matches": 1,
"user_message_matches": 0,
"followed_by_tool": null,
"followed_by_risk": null,
"threshold": 1,
"threshold_source": "static",
"observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
}
}Cara contoh diperiksa
Contoh-contoh ini mengevaluasi detektor yang diterbitkan dengan data peristiwa yang dibuat atau file konfigurasi sementara. Video mengilustrasikan perilaku tersebut. Ini bukan rekaman agen langsung atau antarmuka produk. Tidak ada perintah dalam contoh yang dieksekusi.
Hasilnya menetapkan perilaku untuk input ini. Ini tidak menetapkan konsumsi runtime, pencegahan, atau kompromi nyata. Periksa kontrak sumber yang disematkan.
Apa yang perlu diperiksa selanjutnya
Periksa sumber yang menyediakan konten dan tindakan yang menyusul. Tetap perhatikan tugas asli. Apakah agen memperlakukan teks luar sebagai otoritas, atau sekadar mengutipnya? Gunakan temuan ini untuk menyelidiki batas tersebut dengan aktivitas yang tercatat.
- Identifikasi sumber konten
- Periksa tindakan berikutnya
- Bandingkan dengan tugas asal
Apa yang ditetapkan sinyal ini
Ini adalah pemeriksaan tanda tangan yang terbatas. Parafrase dan bentuk lain yang tidak cocok dapat terlewat; kecocokan tidak membuktikan agen mematuhinya.