Как это остаётся незамеченным
Сборка завершилась ошибкой, но агент уже перешёл к написанию резюме. Была ли восстановлена работа, или важный сбой остался незамеченным между двумя шагами? Следующее действие часто является лучшей отправной точкой для проверки.
В активной сессии ошибка может промелькнуть прямо перед вызовом другого инструмента. Агент мог иметь корректную стратегию восстановления, а мог продолжить работу, проигнорировав сбой. В любом случае для принятия решения нужна вся окружающая последовательность.
Что обнаруживает ClawMetry
ClawMetry отмечает неудачный результат инструмента, за которым следует продолжение активности без явной повторной попытки или подтверждения. Создаётся информационная находка о расхождении действий. Низкий приоритет важен: это сигнал для проверки перехода, а не вердикт об умысле агента.
Различие, меняющее результат
Пример срабатывания
Ошибка, другой инструмент
Информационная находка
Тихое сравнение
Ошибка, повторная попытка с тем же инструментом
Для этого детектора нет находки.
В проверяемом примере ошибка сборки в shell, после которой вызывается другой инструмент, вызывает информационную находку. Ошибка, за которой следует повторный вызов того же инструмента, расценивается как повторная попытка и не триггерит этот детектор.
Изучить результат детектора
{
"kind": "action_discrepancy",
"severity": "info",
"evidence": {
"failed_tool": "Bash",
"continued_as": "tool_call"
}
}Как проверялся пример
Эти примеры оценивают опубликованный детектор с авторскими данными событий или одноразовыми файлами конфигурации. Видео иллюстрируют это поведение. Они не являются записями живых агентов или интерфейса продукта. Ни одна команда в примерах не была выполнена.
Результат устанавливает поведение для этих входных данных. Он не устанавливает приём в реальном времени, предотвращение или реальную компрометацию. Изучить закреплённый исходный контракт.
Что проверить дальше
Сопоставьте проблемный шаг с тем, что последовало за ним. Было ли новое действие путём восстановления? Была ли ошибка подтверждена где-либо ещё? Прежде чем полагаться на отчёт о завершении, проверьте фактический результат, который должна была произвести неудавшаяся операция.
- Изучить неудачный результат
- Проверить путь восстановления
- Проверьте заявленный результат
Что устанавливает этот сигнал
Детектор не проверяет итоговое заявление о завершении. Легитимное восстановление через другой инструмент тоже может совпасть с паттерном.