Detector ಗ್ರಂಥಾಲಯಕ್ರಿಯಾ ವ್ಯತ್ಯಾಸ

ಕ್ರಿಯಾ ವ್ಯತ್ಯಾಸ

ಹಂತ ವಿಫಲವಾಯಿತು. Agent ಮುಂದೆ ಸಾಗಿತು.

ವಿಫಲತೆಯ ನಂತರ ವಿಭಿನ್ನ ಕ್ರಿಯೆ ಬಂದಾಗ ಗಮನಿಸಿ.

ಸಮಸ್ಯೆ ನೋಡಿ. ಫಲಿತಾಂಶ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ.

ಇಂಗ್ಲಿಷ್ ನಿರೂಪಣೆ ಮತ್ತು ಶೀರ್ಷಿಕೆಗಳೊಂದಿಗೆ.

ಇದು ಹೇಗೆ ಗಮನಕ್ಕೆ ಬರುವುದಿಲ್ಲ

Build ವಿಫಲವಾಯಿತು, ಆದರೆ agent ಈಗಾಗಲೇ ಸಾರಾಂಶ ಬರೆಯಲು ತೊಡಗಿದೆ. ಅದು ಚೇತರಿಸಿಕೊಂಡಿತೇ, ಅಥವಾ ಎರಡು ಹಂತಗಳ ನಡುವೆ ಮುಖ್ಯ ವಿಫಲತೆ ಮರೆಯಾಯಿತೇ? ಮುಂದಿನ ಕ್ರಿಯೆಯಿಂದ ಪರಿಶೀಲನೆ ಪ್ರಾರಂಭಿಸುವುದು ಸೂಕ್ತ.

ಚಟುವಟಿಕೆಯಿಂದ ಕೂಡಿದ ಸೆಷನ್‌ನಲ್ಲಿ, ಬೇರೆ ಟೂಲ್ ಕರೆಯ ಮೊದಲು ದೋಷ ತಪ್ಪಿಸಿಕೊಂಡು ಹೋಗಬಹುದು. Agent ಸರಿಯಾದ ಚೇತರಿಕೆ ತಂತ್ರ ಹೊಂದಿರಬಹುದು, ಅಥವಾ ವಿಫಲತೆ ನಿಭಾಯಿಸದೆ ಮುಂದೆ ಸಾಗುತ್ತಿರಬಹುದು. ನಿರ್ಧರಿಸಲು ಸುತ್ತಮುತ್ತಲ ಅನುಕ್ರಮ ಬೇಕು.

ClawMetry ಏನನ್ನು ಪತ್ತೆಹಚ್ಚುತ್ತದೆ

ClawMetry ವಿಫಲ ಟೂಲ್ ಫಲಿತಾಂಶದ ನಂತರ ಮಾನ್ಯ retry ಅಥವಾ ಸ್ವೀಕೃತಿ ಇಲ್ಲದೆ ಚಟುವಟಿಕೆ ಮುಂದುವರಿದರೆ ಗುರುತಿಸುತ್ತದೆ. ಮಾಹಿತಿ action discrepancy ಶೋಧನೆ ರಚಿಸುತ್ತದೆ. ಕಡಿಮೆ ತೀವ್ರತೆ ಮುಖ್ಯ: ಇದು agent ಉದ್ದೇಶದ ತೀರ್ಪಲ್ಲ, ಬದಲಾವಣೆ ಪರಿಶೀಲಿಸಲು ಸಂಕೇತ.

ಫಲಿತಾಂಶ ಬದಲಾಯಿಸುವ ವ್ಯತ್ಯಾಸ

ಪ್ರಚೋದಿಸುವ ಉದಾಹರಣೆ

ವಿಫಲತೆ, ಬೇರೆ ಟೂಲ್

ಮಾಹಿತಿ ಶೋಧನೆ

ಶಾಂತ ಹೋಲಿಕೆ

ವಿಫಲತೆ, ಅದೇ ಟೂಲ್ retry

ಈ detector ಗೆ ಯಾವುದೇ ಫಲಿತಾಂಶವಿಲ್ಲ.

ಪರಿಶೀಲಿಸಿದ ಉದಾಹರಣೆ shell build ವಿಫಲಗೊಳಿಸಿ ಬೇರೆ ಟೂಲ್ ಕರೆಯುತ್ತದೆ. ಮಾಹಿತಿ ಶೋಧನೆ ಎದ್ದೇಳುತ್ತದೆ. ಅದೇ ಟೂಲ್‌ನ ನಂತರದ ಕರೆಯನ್ನು retry ಎಂದು ಪರಿಗಣಿಸಿ ಈ detector ಮೌನವಾಗಿರುತ್ತದೆ.

Detector ಫಲಿತಾಂಶ ಪರಿಶೀಲಿಸಿ
{
  "kind": "action_discrepancy",
  "severity": "info",
  "evidence": {
    "failed_tool": "Bash",
    "continued_as": "tool_call"
  }
}
ಇನ್‌ಪುಟ್‌ಗಳು ಮತ್ತು ಸಂಪೂರ್ಣ ಫಲಿತಾಂಶಗಳನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ (JSON)
ಉದಾಹರಣೆ ಹೇಗೆ ಪರಿಶೀಲಿಸಲಾಯಿತು

ಈ ಉದಾಹರಣೆಗಳು ರಚಿಸಿದ ಈವೆಂಟ್ ಡೇಟಾ ಅಥವಾ ತಾತ್ಕಾಲಿಕ ಕಾನ್ಫಿಗರೇಶನ್ ಫೈಲ್‌ಗಳೊಂದಿಗೆ ಪ್ರಕಟಿತ detector ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತವೆ. ವೀಡಿಯೊಗಳು ಆ ನಡವಳಿಕೆಗಳನ್ನು ವಿವರಿಸುತ್ತವೆ. ಇವು ಲೈವ್ ಏಜೆಂಟ್‌ಗಳು ಅಥವಾ ಉತ್ಪನ್ನ ಇಂಟರ್‌ಫೇಸ್‌ನ ರೆಕಾರ್ಡಿಂಗ್‌ಗಳಲ್ಲ. ಉದಾಹರಣೆಗಳಲ್ಲಿ ಯಾವುದೇ ಆಜ್ಞೆ ಕಾರ್ಯಗತಗೊಂಡಿಲ್ಲ.

ಫಲಿತಾಂಶ ಈ ಇನ್‌ಪುಟ್‌ಗಳಿಗೆ ನಡವಳಿಕೆ ಸ್ಥಾಪಿಸುತ್ತದೆ. ಇದು ರನ್‌ಟೈಮ್ ಅಂತರ್ಗ್ರಹಣ, ತಡೆಗಟ್ಟುವಿಕೆ ಅಥವಾ ನೈಜ ರಾಜಿಯನ್ನು ಸ್ಥಾಪಿಸುವುದಿಲ್ಲ. ಪಿನ್ ಮಾಡಿದ ಮೂಲ ಒಪ್ಪಂದ ಪರಿಶೀಲಿಸಿ.

ಮುಂದೆ ಏನು ಪರಿಶೀಲಿಸಬೇಕು

ವಿಫಲ ಹಂತ ಮತ್ತು ನಂತರ ಆದದ್ದನ್ನು ಹೋಲಿಸಿ. ಹೊಸ ಕ್ರಿಯೆ ಚೇತರಿಕೆ ಮಾರ್ಗವೇ? ದೋಷ ಬೇರೆಡೆ ಒಪ್ಪಿಕೊಳ್ಳಲಾಯಿತೇ? ಪೂರ್ಣಗೊಳಿಸಿದ ವರದಿಯನ್ನು ನಂಬುವ ಮೊದಲು, ವಿಫಲ ಕಾರ್ಯಾಚರಣೆ ಉತ್ಪಾದಿಸಬೇಕಿದ್ದ ಫಲಿತಾಂಶ ಪರಿಶೀಲಿಸಿ.

  1. ವಿಫಲ ಫಲಿತಾಂಶ ಪರಿಶೀಲಿಸಿ
  2. ಚೇತರಿಕೆ ಮಾರ್ಗ ಪರಿಶೀಲಿಸಿ
  3. ಹೇಳಿದ ಫಲಿತಾಂಶವನ್ನು ಪರಿಶೀಲಿಸಿ

ಈ ಸಂಕೇತ ಏನನ್ನು ಸ್ಥಾಪಿಸುತ್ತದೆ

Detector ಅಂತಿಮ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆ ಹೇಳಿಕೆ ಪರಿಶೀಲಿಸುವುದಿಲ್ಲ. ಬೇರೆ ಟೂಲ್ ಮೂಲಕ ಸಕ್ರಮ ಚೇತರಿಕೆಯೂ ಹೊಂದಿಕೆ ಆಗಬಹುದು.

ಮುಖ್ಯ ಕ್ಷಣಗಳನ್ನು ಗೋಚರವಾಗಿ ಇರಿಸಿ.

ಏಜೆಂಟ್ ಚಟುವಟಿಕೆ ಅನುಸರಿಸಿ, ಫಲಿತಾಂಶಗಳನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ನಿಮ್ಮ ಗಮನ ಅಗತ್ಯವಿರುವುದನ್ನು ನಿರ್ಧರಿಸಿ.