待验证50% 置信基准精确时间
论文在1,292个对话轮次上评测了8个LLM，发现整体得分相近的模型在单条规则遵守率上差异巨大。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
SIT-Eval：对话Agent评测的管道缺口与逐轮评估新范式
rss2026/10/20
涉及实体
相关事实
待验证该实验运行在第 14 个会话达到论文设定的适应标准（连续三个会话通过），前 36 个会话中 bold rate 和 list rate 两个指标均呈下降趋势71% 相似待验证在一项覆盖8个本地模型、超过5000次调用的测试中，提示词的措辞风格（朴素/正常/华丽）对非数学任务的正确率几乎没有影响，8B及以上模型的差异不超过4个百分点。70% 相似待验证早期研究发现同一问题用不同表述方式提问，模型性能差异可高达数十个百分点70% 相似待验证第一轮实验中，有已验证能力的功能平均分 1.43，无已验证能力的功能平均分 1.14，差距微乎其微；修掉语言问题后同样的对比变为 2.00 对 1.07。69% 相似待验证该基准测试使用10篇200到250词的原创短文档，埋入18处异常，共37个评分条目（18脏19净），测试13个模型，每个模型74条prompt68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1074914API
curl https://kongchang.com/api/v1/knowledge/claims/1074914MCP
get_claim(id=1074914)