产品
Driftproof
一个开源评测工具,用于对 AI Agent 技能进行对照实验和效果评估。
时间轴 (近 90 天)
10月19日
Driftproof 是一个开源评测工具,作者本人也是测试者,文中已披露利益关系。
待验证50%
10月19日
评测判定明显有帮助的规则是:至少一个任务上两组得分的区间(均值加减一个标准差)不重叠且差距不小于 0.05,同时没有任何任务明显朝反方向走;任何一个任务上的明显下降都会压过其他任务上的提升。
待验证50%
10月19日
评测方法为每个技能对应三个纯文本任务,每个任务在有技能和无技能条件下作答,每组重复 3 到 10 次,每个答案评分 5 次。
待验证50%
10月19日
测试者列出三条限制:每个技能只有三个纯文本任务且由测试方编写;没有测试工具调用、生成媒体或部署服务;只有单一裁判模型。
待验证50%