待验证50% 置信基准精确时间
在 schemagate 的 benchmark 中,Spider 数据集 1034 个问题上纯数学排序准确率为 80.3%,重排序后为 96.5%;BIRD 数据集 1534 个问题上纯数学排序为 88.6%,重排序后为 96.7%。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证完整系统在六个由仿真器衍生的报告字段上达到了77.3%的准确率65% 相似待验证在数学推理任务GSM8K上,OQ4E做对954题(95.4%),8bit只做对924题(92.4%),4bit版本反而高出3个百分点65% 相似待验证schemagate 的修复方案包括三处改动:将 max_tokens 从 120 提升到 1024;在测试中加入 fake model 当 max_tokens 低于 512 时拒绝回答;benchmark 记录模型是否在每个问题上给出了回答。63% 相似待验证GPT-6 Astra在Frontier Math Tier 4上峰值达到98%,在不开启推理、不使用思维链的情况下仍达到83%62% 相似待验证在补全FP8量化函数最后一个Token的任务中,DeepSeek-V4-Flash-Base在代码前加等号装饰后,当等号数量除以4余数为0或1时错误率高达71.3%,余数为2或3时正确率回到91.5%。61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1049519API
curl https://kongchang.com/api/v1/knowledge/claims/1049519MCP
get_claim(id=1049519)