アクション不一致ディテクター

なぜ見落とされるのか

ビルドが失敗しましたが、エージェントはすでにサマリーの作成に移っていました。回復したのでしょうか、それとも重要な失敗が2つのステップの間に消えてしまったのでしょうか？次のアクションは、有益なレビューを始めるべき場所であることが多いです。

忙しいセッションでは、エラーが別のツール呼び出しの直前にスクロールして通過することがあります。エージェントに有効な回復戦略がある場合もあります。または失敗を処理せずに進んでいる場合もあります。どちらにせよ、判断するには前後のシーケンスが必要です。

ClawMetryは失敗したツール結果の後に、認識されたリトライや確認なしにアクティビティが続く場合にフラグを立てます。情報としてのアクション不一致の検出結果を作成します。この低い重大度は重要です。これはエージェントの意図についての評決ではなく、遷移を確認するよう促すものです。

トリガーの例

情報の検出結果

静かな比較例

このディテクターの検出結果はありません。

確認した例ではシェルビルドが失敗し、その後異なるツールを呼び出します。情報としての検出結果が生成されます。同じツールへの呼び出しが続く失敗はリトライとして扱われ、このディテクターでは静かなままです。

ディテクターの結果を確認する

{
  "kind": "action_discrepancy",
  "severity": "info",
  "evidence": {
    "failed_tool": "Bash",
    "continued_as": "tool_call"
  }
}

例の確認方法

これらの例は、作成されたイベントデータまたは使い捨ての設定ファイルを使って公開済みディテクターを評価します。動画はこれらの動作を説明しています。ライブエージェントや製品インターフェイスの録画ではありません。例のコマンドは実行されていません。

この結果はこれらの入力に対する動作を示すものです。ランタイムへの取り込み、防止、または実際の侵害を証明するものではありません。固定されたソースコントラクトを確認する.

失敗したステップとその後に続いたものを比較してください。新しいアクションは回復パスでしたか？エラーは他の場所で認識されましたか？完了レポートを信頼する前に、失敗した操作が生成することを意図していた基礎的な結果を確認してください。

このディテクターは最終的な完了クレームを検証しません。別のツールを通じた正当な回復も一致する場合があります。