Як це залишається непоміченим
Ваш агент відкрив ще один файл. І ще один. Сесія виглядає активною, але виправлення так і не з'явилось. Коли ви стежите за кількома агентами, потік активності може приховати завдання, яке не просувається.
Уявіть, що ви просите невеликої зміни в коді. Агент зчитує двадцять п'ять файлів, не вносячи жодних змін і не завершуючи хід. Ви могли б виявити це, прогортавши сесію. ClawMetry натомість дає вам конкретний сигнал для розслідування.
Що виявляє ClawMetry
Детектор відсутності прогресу підраховує виклики інструментів від останнього ходу користувача або маркера завершення. Якщо кількість досягає порогу без зафіксованого запису або редагування, він видає попередження. Знахідка включає спостережувану кількість викликів, поріг і нуль записаних змін.
Різниця, яка змінює знахідку
Приклад спрацювання
25 зчитувань, нуль змін
Попередження
Тиха порівняльна ситуація
24 зчитування, потім редагування
Для цього детектора знахідок немає.
Перевірений приклад має двадцять п'ять викликів зчитування та видає попередження. Замініть один із цих викликів на редагування, і цей детектор замовкне. Новий хід користувача скидає вікно. Якщо середовище виконання ніколи не розкриває записи у своєму навченому зразку, ClawMetry може вимкнути цей сигнал, а не позначати кожну сесію.
Перегляньте результат детектора
{
"kind": "no_progress",
"severity": "warning",
"evidence": {
"tool_calls": 25,
"writes": 0,
"threshold": 20,
"threshold_source": "static",
"baseline": null
}
}Завантажити вхідні дані та повні результати (JSON)Як перевірявся приклад
Ці приклади оцінюють опублікований детектор із авторськими даними подій або одноразовими файлами конфігурації. Відео ілюструє цю поведінку. Це не записи живих агентів або інтерфейсу продукту. Жодна команда з прикладів не виконувалась.
Результат встановлює поведінку для цих вхідних даних. Він не встановлює прийом у середовищі виконання, запобігання або реального компрометування. Перегляньте закріплений вихідний контракт.
Що перевірити далі
Почніть із завдання. Дослідження може коректно включати багато зчитувань. Запитане виправлення коду може потребувати втручання. Перевірте, що агент намагається дізнатися, уточніть точку зупинки та знайдіть першу значущу зміну.
- Перевірте тип завдання
- Перегляньте останню активність
- Визначте зручну точку зупинки
Що встановлює цей сигнал
Відсутність записаних змін не є доказом марної роботи. Дослідження лише для читання може бути легітимним, а пороги залежать від доступної телеметрії.