কীভাবে এটি নজর এড়িয়ে যায়
আপনার agent আরেকটি ফাইল খুলেছে। তারপর আরেকটি। সেশন ব্যস্ত দেখাচ্ছে, কিন্তু সমাধান এখনও আসেনি। একাধিক agent পর্যবেক্ষণ করার সময়, কার্যকলাপের ধারা এমন একটি কাজ আড়াল করতে পারে যা এগোচ্ছে না।
ধরুন একটি ছোট কোড পরিবর্তনের অনুরোধ করা হয়েছে। Agent সম্পাদনা বা টার্ন শেষ না করে পঁচিশটি ফাইল পড়ে। সেশন স্ক্রল করে এটি বোঝা যেত। ClawMetry পরিবর্তে একটি নির্দিষ্ট signal দেয় যা তদন্ত করতে সাহায্য করে।
ClawMetry কী শনাক্ত করে
No progress detector সর্বশেষ user টার্ন বা সমাপ্তি চিহ্নকের পর থেকে tool কল গণনা করে। থ্রেশহোল্ডে পৌঁছালে এবং কোনো স্বীকৃত write বা সম্পাদনা না থাকলে একটি সতর্কতা তৈরি হয়। finding-এ পর্যবেক্ষিত কল সংখ্যা, থ্রেশহোল্ড এবং শূন্য রেকর্ড করা write উল্লেখ থাকে।
finding পরিবর্তনকারী পার্থক্য
ট্রিগারকারী উদাহরণ
২৫টি পড়া, শূন্য সম্পাদনা
সতর্কতা finding
শান্ত তুলনা
২৪টি পড়া, তারপর একটি সম্পাদনা
এই detector-এর জন্য কোনো finding নেই।
পরীক্ষিত উদাহরণে পঁচিশটি read কল একটি সতর্কতা তৈরি করে। একটি কলের বদলে সম্পাদনা করলে এই detector শান্ত থাকে। নতুন user টার্ন উইন্ডো রিসেট করে। কোনো runtime যদি তার শেখা নমুনায় write প্রকাশ না করে, ClawMetry প্রতিটি সেশন চিহ্নিত করার বদলে এই signal নিষ্ক্রিয় করতে পারে।
detector ফলাফল পরীক্ষা করুন
{
"kind": "no_progress",
"severity": "warning",
"evidence": {
"tool_calls": 25,
"writes": 0,
"threshold": 20,
"threshold_source": "static",
"baseline": null
}
}ইনপুট ও সম্পূর্ণ ফলাফল ডাউনলোড করুন (JSON)উদাহরণটি কীভাবে পরীক্ষা করা হয়েছে
এই উদাহরণগুলো প্রকাশিত detector-কে লেখক-তৈরি event ডেটা বা disposable কনফিগারেশন ফাইল দিয়ে মূল্যায়ন করে। ভিডিওগুলো সেই আচরণ দেখায়। এগুলো লাইভ agent বা পণ্যের ইন্টারফেসের রেকর্ডিং নয়। উদাহরণের কোনো command কার্যকর করা হয়নি।
ফলাফলটি এই ইনপুটের জন্য আচরণ প্রতিষ্ঠা করে। এটি runtime ingestion, প্রতিরোধ বা বাস্তব আপোষ প্রতিষ্ঠা করে না। পিন করা সোর্স চুক্তি পরীক্ষা করুন.
পরবর্তী কী পরীক্ষা করবেন
প্রথমে কাজটি দেখুন। গবেষণায় অনেক read স্বাভাবিক হতে পারে। অনুরোধকৃত কোড পরিবর্তনে হস্তক্ষেপ দরকার হতে পারে। agent কী শেখার চেষ্টা করছে তা যাচাই করুন, বিরতির পয়েন্ট স্পষ্ট করুন এবং প্রথম অর্থবহ পরিবর্তন খুঁজুন।
- কাজের ধরন পরীক্ষা করুন
- সর্বশেষ কার্যকলাপ দেখুন
- একটি কার্যকর বিরতির পয়েন্ট নির্ধারণ করুন
এই signal কী প্রতিষ্ঠা করে
কোনো রেকর্ড করা সম্পাদনা না থাকা মানে নষ্ট কাজ নয়। Read-only গবেষণা বৈধ হতে পারে এবং থ্রেশহোল্ড উপলব্ধ telemetry-র উপর নির্ভর করে।