基准SLM Agent微任务基准
Agent微任务基准
专为评估小语言模型在Agent系统微任务场景中能力而设计的基准测试，包含4个典型微任务，采用置信区间感知的合格规则进行严格评估
时间轴 (近 90 天)
10月2日
研究设计了4个Agent微任务，每个任务配有固定提示词和自动化评估指标，并预先设定了阈值τ
待验证50%
10月2日
在4个任务×4个模型共16个配置中，没有任何一个通过合格线
待验证50%
10月2日
研究将失败归为两类：真正的能力缺陷，以及可通过调整解码阈值缓解的问题，并细分出4种失败机制
待验证50%
10月2日
研究核心洞察是合格鸿沟主要由模型尺寸决定，而非精度
待验证50%
10月2日
在原始提示词之外每个单元格额外加入3个中性改写版本，112个配置中0个合格(0/112)
待验证50%