待验证50% 置信基准精确时间
在 Spider 数据集上，schemagate 与同模型（Claude Sonnet 4.5）得分持平，均为 93.0；论文在 Spider 上的最佳成绩来自 DeepSeek V3.2-Reasoning，达到 95.9。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/17
首次发现
有效期至：2026/10/31
来源
涉及实体
相关事实
待验证在Spider上，schemagate与论文最佳配置的AC-F1同为93.0，但schemagate误答率为5.1%，略高于论文的4.6%。68% 相似待验证在 schemagate 的 benchmark 中，Spider 数据集 1034 个问题上纯数学排序准确率为 80.3%，重排序后为 96.5%；BIRD 数据集 1534 个问题上纯数学排序为 88.6%，重排序后为 96.7%。62% 相似待验证schemagate benchmark 的配对 McNemar 检验，Spider 上 p 值约 1e-49，BIRD 上约 1e-36。60% 相似待验证Claude 3.5 Sonnet在HumanEval基准测试上的得分超过90%，而2021年最初的Codex模型得分仅为28.8%59% 相似待验证在图片隐藏虫子识别测试中，Sonnet 5的Max模式花费约10分钟并识别结果完全正确，而Gemini顶配模型只找到4只，GPT-5.5 X-High未能检测出57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1051145API
curl https://kongchang.com/api/v1/knowledge/claims/1051145MCP
get_claim(id=1051145)