待验证50% 置信基准精确时间
一个包含24个世界的受控基准测试(每个世界恰好有两种可能结果)在所有三个模型(Qwen3-4B、Llama-3.2-3B、Gemma-3-4B)上都再现了互补一致性检验的失败。
1
来源数
50%
置信度
长期有效
时效性
2026/10/26
首次发现
来源
涉及实体
相关事实
待验证测试覆盖8个本地模型:Qwen3的0.6B、1.7B、4B、8B、14B,以及Gemma3的1B、4B、12B,全部通过Ollama部署且关闭思考模式。71% 相似待验证作者提到此前测试的35B、3B等其他模型在看板任务上的表现反而不如Qwen3 27B的Q2版本71% 相似待验证该测试为单一来源的个人测试,模型型号被标注为Qwen 3.8 27B存在命名歧义,实际配置、量化方式、生成耗时等细节均未披露,可复现性有待验证70% 相似待验证三个被测模型中只有 Qwen2.5-3B 能在证据不支持答案时可靠地拒绝回答70% 相似待验证第一轮测试(23 个合成用例 × 3 次运行)中,qwen2.5:1.5b 的正确判断率只有 30%,qwen2.5:7b 只有 46%,两者均不及格;qwen2.5:7b 有 14% 的情况错误地判断为“已覆盖”。69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1098435API
curl https://kongchang.com/api/v1/knowledge/claims/1098435MCP
get_claim(id=1098435)