待验证50% 置信基准精确时间

表现最好的最大模型能解决79.6%的留出测试集问题，但在TranSGrid上只能解决55.3%，在最难子集上骤降至15.8%

1

来源数

50%

置信度

长期有效

时效性

2026/9/18

首次发现

来源

系统性泛化评测的盲区：TranSGrid揭示三种推理缺失

涉及实体

TranSGridproduct

相关事实

待验证对于 7B 模型，使用求解器准确率为 75.31%，直接计算为 72.02%，配对提升 +3.29 个百分点，95% 聚类区间为 [-3.49, 10.38] 跨越零点，优势不显著73% 相似待验证73.4% 的基准分意味着仍有约四分之一的任务表现不达标，且该分数是在最大算力下取得70% 相似待验证根据SWE-RPG基准论文，46.7%的代理失败发生在规划和需求分析阶段66% 相似已验证微调的成败80%取决于数据质量，数据准备通常占据整个项目60%-70%的工作量66% 相似已验证在长链路任务中，若每一步约5%的错误率，经过20步后整体成功率可能跌至不足36%65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/931095

API

curl https://kongchang.com/api/v1/knowledge/claims/931095

MCP

get_claim(id=931095)