Πώς παραβλέπεται
Ζητήσατε από έναν agent να συνοψίσει μια σελίδα. Η σελίδα δίνει στον agent οδηγίες να κάνει κάτι άλλο πρώτα. Αυτό είναι το όριο εμπιστοσύνης: εξωτερικό περιεχόμενο προσπαθεί να γίνει εντολή μέσα στην εργασία σας.
Φανταστείτε μια σελίδα κριτικής που περιέχει μήνυμα το οποίο διεκδικεί εξουσία και ζητά από τον agent να εκτελέσει πρόγραμμα εγκατάστασης πριν ολοκληρώσει την περίληψη. Μέσα σε χρήσιμο υλικό πηγής, η εντολή μπορεί εύκολα να παραβλεφθεί από έναν ανθρώπινο ελεγκτή.
Τι ανιχνεύει το ClawMetry
Το ClawMetry ελέγχει καταγεγραμμένα αποτελέσματα εργαλείων και κείμενο που παρείχε ο χρήστης για δηλωμένες υπογραφές prompt injection. Ένα αντίστοιχο αποτέλεσμα εγείρει προειδοποίηση που αναφέρει την υπογραφή και το εργαλείο πηγής. Το εύρημα δεν χρειάζεται να επαναλαμβάνει το αντιστοιχισμένο κείμενο.
Η διαφορά που αλλάζει το εύρημα
Παράδειγμα ενεργοποίησης
Η σελίδα δίνει εντολή στον agent
Εύρημα προειδοποίησης
Αθόρυβη σύγκριση
Συνηθισμένο περιεχόμενο σελίδας
Κανένα εύρημα για αυτόν τον ανιχνευτή.
Το ελεγχόμενο παράδειγμα τοποθετεί πλαστή εντολή σε σελίδα που ανακτήθηκε και λαμβάνει προειδοποίηση. Μια συνηθισμένη περιγραφή ξενοδοχείου παραμένει ήσυχη. Μεταγενέστερη κλήση εργαλείου υψηλού κινδύνου στην ίδια σειρά μπορεί να αυξήσει τη σοβαρότητα, γεγονός που καθιστά αξιοεξέταστη τη σειρά των γεγονότων.
Εξετάστε το αποτέλεσμα ανιχνευτή
{
"kind": "prompt_injection",
"severity": "warning",
"evidence": {
"source": "tool_result",
"tool": "WebFetch",
"signatures": [
"forged_authority",
"task_handoff"
],
"signature_labels": [
"imitates a system or authority message",
"asks the agent to do something else before the user's task"
],
"tool_result_matches": 1,
"user_message_matches": 0,
"followed_by_tool": null,
"followed_by_risk": null,
"threshold": 1,
"threshold_source": "static",
"observed": "declared injection signatures in the text of tool results and user-sourced messages; matched text is not kept"
}
}Πώς ελέγχθηκε το παράδειγμα
Αυτά τα παραδείγματα αξιολογούν τον δημοσιευμένο ανιχνευτή με δεδομένα συμβάντων ή αναλώσιμα αρχεία ρυθμίσεων. Τα βίντεο απεικονίζουν αυτές τις συμπεριφορές. Δεν αποτελούν εγγραφές ζωντανών agents ή της διεπαφής προϊόντος. Καμία εντολή στα παραδείγματα δεν εκτελέστηκε.
Το αποτέλεσμα καθορίζει τη συμπεριφορά για αυτές τις εισόδους. Δεν καθορίζει λήψη δεδομένων runtime, πρόληψη ή πραγματικό συμβιβασμό. Εξετάστε τη σταθερή σύμβαση πηγής.
Τι να ελέγξετε στη συνέχεια
Εξετάστε την πηγή που παρείχε το περιεχόμενο και τις ενέργειες που ακολούθησαν. Διατηρήστε στο επίκεντρο την αρχική εργασία. Αντιμετώπισε ο agent το εξωτερικό κείμενο ως εξουσία ή απλώς το παρέθεσε; Χρησιμοποιήστε το εύρημα για να διερευνήσετε αυτό το όριο με την πραγματική καταγεγραμμένη δραστηριότητα.
- Προσδιορίστε την πηγή περιεχομένου
- Ελέγξτε τις επακόλουθες ενέργειες
- Συγκρίνετε με την αρχική εργασία
Τι καθορίζει αυτό το σήμα
Πρόκειται για περιορισμένους ελέγχους υπογραφής. Παραφράσεις και άλλες μη αντιστοιχισμένες μορφές μπορεί να παραβλεφθούν· μια αντιστοίχιση δεν αποδεικνύει ότι ο agent υπάκουσε.