待验证50% 置信解决方案精确时间

测评采用配对样本设计，每类缺陷有一个有缺陷版本和一个结构完全相同但没有问题的孪生版本，用来衡量模型的误报率

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

测评19款大模型做论文审稿人：参数与价格并不决定成绩

涉及实体

配对样本concept

相关事实

待验证McNemar 检验要求两个模型在完全相同的测试集上评估，任何测试集的不一致都会使检验失效78% 相似待验证对抗性测试用例应写成确定性的二元通过/失败检查器，而非使用模糊的相似度分数75% 相似待验证评测模型应在多种harness、多次迭代、多类任务下观察，并区分模型逻辑错误与工具链问题72% 相似待验证该评估仅使用一个提示词、每个模型只跑一次、采用贪婪解码、答案评分基于归一化精确匹配，且 evidence_ids 并未计分72% 相似待验证通过测试并不等于正确修复了缺陷，模型可通过删除失败测试用例、硬编码预期输出值或修改断言逻辑使其永远为真来作弊72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1003791

API

curl https://kongchang.com/api/v1/knowledge/claims/1003791

MCP

get_claim(id=1003791)