Как это остаётся незамеченным
Сборка завершается неудачей. Агент пробует снова. Снова неудача. Каждая попытка добавляет вывод, но основная проблема остаётся. Если проверять только активность сессии, можно пропустить сбой, который продолжается.
Представьте агента, подготавливающего изменение, пока его инструмент командной строки постоянно возвращает ошибку. Причина может быть в недостающей зависимости, неверной команде или недоступном доступе. Полезный вопрос, какой инструмент продолжает давать сбой, и как часто.
Что обнаруживает ClawMetry
ClawMetry подсчитывает ошибки, связанные с одним инструментом в окне событий. Когда счётчик превышает применимый порог, поднимается предупреждение о повторяющемся сбое инструмента. Находка называет инструмент, количество сбоев и использованный порог.
Различие, меняющее результат
Пример срабатывания
4 ошибки от Bash
Предупреждение
Тихое сравнение
1 ошибка от Bash
Для этого детектора нет находки.
В проверенном примере четыре неудачных результата командной строки вызывают предупреждение. Один сбой остаётся ниже порога. Это отличается от цикла с одинаковыми вызовами: команды могут меняться, пока тот же инструмент продолжает возвращать ошибки.
Изучить результат детектора
{
"kind": "repeated_tool_failure",
"severity": "warning",
"evidence": {
"tool": "Bash",
"failures": 4,
"threshold": 3,
"threshold_source": "static"
}
}Как проверялся пример
Эти примеры оценивают опубликованный детектор с авторскими данными событий или одноразовыми файлами конфигурации. Видео иллюстрируют это поведение. Они не являются записями живых агентов или интерфейса продукта. Ни одна команда в примерах не была выполнена.
Результат устанавливает поведение для этих входных данных. Он не устанавливает приём в реальном времени, предотвращение или реальную компрометацию. Изучить закреплённый исходный контракт.
Что проверить дальше
Откройте неудачные результаты и найдите общую причину. Устраните проблему среды или доступа, или сузьте задачу агента до накопления повторных попыток. Затем убедитесь, что следующий результат инструмента действительно успешен.
- Прочитать результаты ошибок
- Устранить общую причину
- Проверить следующий результат
Что устанавливает этот сигнал
Это сигнал надёжности. Он не диагностирует первопричину и не доказывает, что агент подвергается атаке.