なぜ見落とされるのか
エージェントがまたファイルを開きました。そしてまた。セッションは忙しそうに見えますが、修正はまだ現れていません。複数のエージェントを監視しているとき、アクティビティのストリームは前進していないタスクを隠すことがあります。
小さなコード変更をリクエストした場面を想像してください。エージェントは編集や完了なしに25個のファイルを読み取ります。セッションをスクロールすればそれがわかります。ClawMetryは代わりに調査すべき具体的なシグナルを提供します。
ClawMetryが検出するもの
進捗なしディテクターは最新のユーザーターンまたは完了マーカー以降のツール呼び出しをカウントします。カウントがしきい値に達しても書き込みや編集が認識されない場合、警告を発します。検出結果には観察された呼び出し回数、しきい値、記録された書き込みがゼロであることが含まれます。
検出結果を左右する違い
トリガーの例
25回の読み取り、編集はゼロ
警告の検出結果
静かな比較例
24回の読み取り、その後に編集
このディテクターの検出結果はありません。
確認した例では、25回の読み取り呼び出しで警告が発生します。そのうちの1回を編集に置き換えると、このディテクターは静かなままです。新しいユーザーターンでウィンドウがリセットされます。ランタイムが学習済みサンプルで書き込みを公開しない場合、ClawMetryはすべてのセッションにフラグを立てる代わりにこのシグナルを無効にできます。
ディテクターの結果を確認する
{
"kind": "no_progress",
"severity": "warning",
"evidence": {
"tool_calls": 25,
"writes": 0,
"threshold": 20,
"threshold_source": "static",
"baseline": null
}
}例の確認方法
これらの例は、作成されたイベントデータまたは使い捨ての設定ファイルを使って公開済みディテクターを評価します。動画はこれらの動作を説明しています。ライブエージェントや製品インターフェイスの録画ではありません。例のコマンドは実行されていません。
この結果はこれらの入力に対する動作を示すものです。ランタイムへの取り込み、防止、または実際の侵害を証明するものではありません。 固定されたソースコントラクトを確認する.
次に確認すること
タスクから始めてください。リサーチでは多くの読み取りが正当な場合があります。コード修正のリクエストは介入が必要な場合があります。エージェントが何を学ぼうとしているか確認し、停止点を明確にして、最初の意味のある変更を探してください。
- タスクの種類を確認する
- 最新のアクティビティを確認する
- 有用な停止点を定義する
このシグナルが示すもの
記録された編集がないことは、無駄な作業の証明ではありません。読み取り専用のリサーチは正当な場合があり、しきい値は利用可能なテレメトリに依存します。