待验证50% 置信观点时间未知

测试者认为Anthropic可能正在陷入'基准测试优化'的陷阱，基准测试得分虚高但实际应用表现平庸

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/6/1

首次发现

有效期至：2026/8/30

来源

Claude 4.5 Haiku实测翻车：编码能力全面溃败，性价比被竞品碾压

bilibili烟神殿殿主

涉及实体

Anthropiccompany

相关事实

待验证设计判断力这类偏主观的能力很难通过统一基准测试量化79% 相似待验证探索性测试所代表的依赖直觉、业务经验和创造力发现未知缺陷的能力，目前仍是AI难以替代的核心竞争力75% 相似已验证跑分榜单衡量的是模型考试能力而非解决真实问题的能力74% 相似待验证古德哈特定律指出当一个指标成为目标本身它就不再是好指标，测试集引入训练数据会导致模型考试成绩与真实能力脱钩73% 相似待验证上手门槛低但精通有难度，初期反复失败掉落可能让耐心不足的人很快失去兴趣73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/24359

API

curl https://kongchang.com/api/v1/knowledge/claims/24359

MCP

get_claim(id=24359)