待验证50% 置信事实精确时间

2025年试点阶段有9%的摘要被标记为不适合使用，后续更大规模抽样测试中该比例上升到15%

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/14

首次发现

有效期至：2027/1/12

来源

英国庇护AI摘要失败率22%：GPT-4o高风险场景翻车

涉及实体

英国Home Officecompany

相关事实

待验证7个通过替代测试的模型变化率为15.9%，而6个未通过的模型高达25.8%，性能更好的模型受干扰程度较低但仍高于提示词修改影响69% 相似待验证该测试样本规模相对有限（5个模型、13个代码库），结论有待更大规模验证66% 相似待验证长上下文测试中普通模式最终完成到11.4万token，MTP2完成到8.1万token，到9.8万token时未能完成66% 相似待验证朴素测试集划分中有19.4%（6251篇）的重复文档污染66% 相似待验证Perplexity在其研究基准测试中报告，新模型相比旧模型准确率提升9%、成本只有一半66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1031013

API

curl https://kongchang.com/api/v1/knowledge/claims/1031013

MCP

get_claim(id=1031013)