행동 불일치 탐지기

놓치기 쉬운 이유

빌드가 실패했지만 에이전트는 이미 요약 작성으로 넘어갔습니다. 복구된 것인지, 아니면 중요한 실패가 두 단계 사이에서 사라진 것인지 확인이 필요합니다. 다음 작업이 바로 검토를 시작해야 할 지점입니다.

바쁜 세션에서는 오류가 다른 도구 호출 직전에 스쳐 지나갈 수 있습니다. 에이전트에게 유효한 복구 전략이 있을 수도 있고, 실패를 처리하지 않고 계속 진행 중일 수도 있습니다. 어느 쪽이든 판단하려면 전후 시퀀스가 필요합니다.

ClawMetry는 실패한 도구 결과 이후 인식된 재시도나 확인 없이 활동이 계속될 때 플래그를 표시합니다. 정보성 액션 불일치 발견을 생성합니다. 낮은 심각도는 중요합니다. 이는 에이전트 의도에 대한 판정이 아니라 전환 지점을 검사하라는 신호입니다.

트리거 예시

정보 발견

조용한 비교

이 감지기에 대한 발견 없음.

확인된 예시는 셸 빌드에 실패한 후 다른 도구를 호출합니다. 정보성 발견이 생성됩니다. 동일한 도구에 대한 또 다른 호출이 이어지면 재시도로 처리되어 이 감지기에서는 조용히 유지됩니다.

감지기 결과 검사

{
  "kind": "action_discrepancy",
  "severity": "info",
  "evidence": {
    "failed_tool": "Bash",
    "continued_as": "tool_call"
  }
}

예시 확인 방법

이 예시들은 작성된 이벤트 데이터 또는 일회용 구성 파일로 공개된 감지기를 평가합니다. 영상은 해당 동작을 설명합니다. 라이브 에이전트나 제품 인터페이스의 녹화가 아닙니다. 예시의 어떤 명령도 실행되지 않았습니다.

결과는 해당 입력에 대한 동작을 확립합니다. 런타임 수집, 방지 또는 실제 침해를 확립하지 않습니다. 고정된 소스 계약 검사.

실패한 단계와 이후 작업을 비교하세요. 새 작업이 복구 경로였나요? 오류가 다른 곳에서 확인되었나요? 완료 보고서를 신뢰하기 전에 실패한 작업이 생성했어야 할 실제 결과를 확인하세요.

이 감지기는 최종 완료 주장을 검증하지 않습니다. 다른 도구를 통한 정상적인 복구도 매칭될 수 있습니다.