待验证50% 置信基准精确时间

该基准测试使用10篇200到250词的原创短文档，埋入18处异常，共37个评分条目（18脏19净），测试13个模型，每个模型74条prompt

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

我埋了962个错别字测AI改稿，没一个被"修正"——真正翻车的是句子边界

涉及实体

逐字引用基准测试concept Kaggle Benchmarksproduct

相关事实

待验证该测试样本规模相对有限（5个模型、13个代码库），结论有待更大规模验证76% 相似待验证运行10次测试置信区间宽度约±31%，100次收窄至±10%，400次进一步收窄至±5%，推荐关键测试用例至少运行20-50次75% 相似待验证测试套件共10个，大多数各跑1000题，HumanEval为164题，TruthfulQA为817题74% 相似待验证朴素测试集划分中有19.4%（6251篇）的重复文档污染72% 相似待验证作者用五份真实金融/支付文档和十个人工核验过的测试问题，对仅向量、仅BM25、无重排序的混合检索以及完整ReRankEval四种方案做了横向对比71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1000258

API

curl https://kongchang.com/api/v1/knowledge/claims/1000258

MCP

get_claim(id=1000258)