待验证50% 置信基准精确时间
在JevBench公开基准(231个可下载问题)上,未改动的4B版本总成绩170/231,Easy组48/48全对,Original组69/72,Hard组仅53/111,61个错误中有58个来自Hard组。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/18
首次发现
有效期至:2026/11/1
来源
涉及实体
相关事实
待验证数据集中有 33 个技术错误,最大集群是 Qwen 3.5 35B-A3B 配置,32 次尝试中有 22 个错误69% 相似待验证在 48 条合成的编程请求测试中,默认四档问题下 Laya 只有 21 条与团队标注一致,最高置信度仅 0.26。65% 相似待验证Claude Haiku 4.5在两步问题的24个错误里有21个回答'未找到',而GPT-5.4 mini在27个错误里有20个把指引原话当答案照抄,另有7个编造了真实存在的人名并引用真文档63% 相似待验证在项目三(Lakebed产品审计)中,Gemini 4 Argon仅得2.25/10,78条发现中56条错误,失败率约70%;而6.1 Sol得9/1062% 相似待验证Mistral Small 4在单位换算输入上的得分仅为0.699,并产生了265个与正确标签相差精确十的幂次的错误62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1064023API
curl https://kongchang.com/api/v1/knowledge/claims/1064023MCP
get_claim(id=1064023)