待验证50% 置信事实精确时间
SWE-Race有一半任务是私有的，用于交叉验证，公开集与私有集上三个模型的得分表现一致
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/6
首次发现
有效期至：2027/1/4
来源
涉及实体
相关事实
待验证实验采用8:2比例划分数据，20%作为内部测试集，训练集内部使用5折交叉验证，并移除重复记录以避免数据泄漏60% 相似待验证测试用例生成方案分五个进阶层级，单智能体加提示词覆盖度仅约30%，工作流方式覆盖度可达约80%，探索学习方式覆盖度可达90%以上57% 相似待验证大约一半的任务对所有模型来说都很简单，得分接近100%；另一半难题上三个模型分别拿到50%、45%和23%56% 相似待验证选择与生成的差距超过50个百分点，揭示当用户需要模型直接写出亲属称谓时可靠性远低于基准测试所呈现的水平56% 相似待验证2024 年的多项基准测试表明，经过严格安全对齐的模型在代码生成任务上的拒绝率比基座模型高出 15-30%，在创意写作任务上的自我审查率高达 40%54% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/980434API
curl https://kongchang.com/api/v1/knowledge/claims/980434MCP
get_claim(id=980434)