CATT
CATT是一款用于在CI流程中测试AI代理和服务的工具，通过模拟类似Muse/Instinct的环境，支持对代理行为轨迹进行自动化验证
时间轴 (近 90 天)
研究者提出了受控归因基准CATT，专注于事实追溯任务，其核心思路是让语言模型在完全虚构的知识上微调，从而为归因提供无歧义的ground truth。
CATT的可配置评估揭示冗余和词汇干扰项会持续降低数据归因性能。
在CATT诊断基准上，使用负对数几率梯度并仅聚合top token分数，对多个基线方法实现了35到72个百分点的ground truth召回率提升。
目前不清楚CATT是否开源、支持哪些编程语言以及模拟环境的保真度如何。
CATT通过构建类似Muse/Instinct的模拟环境，让开发者在不依赖真实外部服务的情况下测试代理逻辑。
若Muse/Instinct是特定商业产品，CATT的通用性可能受限。
将代理测试纳入CI可以在每次代码提交后自动运行预设场景，验证代理是否按预期调用工具、处理异常或生成合规响应。
CATT提供的标准化测试框架让团队能以声明式方式定义测试用例并获得通过/失败结果。
全部知识事实 (8)
研究者提出了受控归因基准CATT，专注于事实追溯任务，其核心思路是让语言模型在完全虚构的知识上微调，从而为归因提供无歧义的ground truth。
50%待验证CATT的可配置评估揭示冗余和词汇干扰项会持续降低数据归因性能。
50%待验证在CATT诊断基准上，使用负对数几率梯度并仅聚合top token分数，对多个基线方法实现了35到72个百分点的ground truth召回率提升。
50%待验证目前不清楚CATT是否开源、支持哪些编程语言以及模拟环境的保真度如何。
50%待验证CATT通过构建类似Muse/Instinct的模拟环境，让开发者在不依赖真实外部服务的情况下测试代理逻辑。
50%待验证若Muse/Instinct是特定商业产品，CATT的通用性可能受限。
50%待验证将代理测试纳入CI可以在每次代码提交后自动运行预设场景，验证代理是否按预期调用工具、处理异常或生成合规响应。
50%待验证CATT提供的标准化测试框架让团队能以声明式方式定义测试用例并获得通过/失败结果。
50%