Як це залишається непоміченим
Збірка не вдалася, але агент вже перейшов до написання підсумку. Чи він відновився, чи важливий збій зник між двома кроками? Наступна дія часто є тим місцем, де має починатися корисний перегляд.
У зайнятій сесії помилка може проскочити щойно перед іншим викликом інструмента. Агент може мати дійсну стратегію відновлення. Або він може продовжувати роботу, не обробивши збій. Так чи інакше, для прийняття рішення вам потрібна навколишня послідовність.
Що виявляє ClawMetry
ClawMetry позначає невдалий результат інструмента, за яким слідує продовження активності без розпізнаного повтору або підтвердження. Він створює інформаційну знахідку розбіжності дій. Нижча серйозність важлива: це підказка для перевірки переходу, а не вердикт про намір агента.
Різниця, яка змінює знахідку
Приклад спрацювання
Збій, інший інструмент
Інформаційна знахідка
Тиха порівняльна ситуація
Збій, повтор того самого інструмента
Для цього детектора знахідок немає.
Перевірений приклад не вдається зі збіркою оболонки, а потім викликає інший інструмент. Він видає інформаційну знахідку. Збій, за яким слідує ще один виклик того самого інструмента, розглядається як повтор і для цього детектора залишається тихим.
Перегляньте результат детектора
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Як перевірявся приклад
Ці приклади оцінюють опублікований детектор із авторськими даними подій або одноразовими файлами конфігурації. Відео ілюструє цю поведінку. Це не записи живих агентів або інтерфейсу продукту. Жодна команда з прикладів не виконувалась.
Результат встановлює поведінку для цих вхідних даних. Він не встановлює прийом у середовищі виконання, запобігання або реального компрометування. Перегляньте закріплений вихідний контракт.
Що перевірити далі
Порівняйте невдалий крок з тим, що слідувало за ним. Чи була нова дія шляхом відновлення? Чи помилка була визнана деінде? Перш ніж покладатися на звіт про завершення, перевірте основний результат, який мала дати невдала операція.
- Перегляньте невдалий результат
- Перевірте шлях відновлення
- Перевірте заявлений результат
Що встановлює цей сигнал
Детектор не перевіряє остаточне твердження про завершення. Легітимне відновлення через інший інструмент також може збігатися.