待验证50% 置信事实精确时间
SimpleQA Verified基准包含1000个问题,由OpenAI原始SimpleQA数据集经过参考答案核对、相似问题去除和主题平衡后筛选得出。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证SimpleQA是OpenAI开发的评测基准,专门测试模型在面对事实性问题时是否能准确判断自身知识边界75% 相似待验证该基准测试使用统一的100个问题集,每个问题只发起一次搜索,所有配置使用相同的answering model处理返回内容70% 相似待验证构建小型测试集应从30到50个真实问题开始,每个问题附带正确答案和包含答案的文档,分别衡量检索(正确文本块是否出现在靠前结果中)和生成(最终答案是否由检索文本支撑)两方面。65% 相似待验证结论基于单一数据集FRAMES且专注多跳问答,是否能推广到其他任务类型仍需更多验证64% 相似待验证作者在六个数据集上做了验证,覆盖内容审核、安全过滤和文档重排三类任务,对比对象包括通用System One模型、各任务专用基线以及一个本地开源权重的微调System One模型。63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1066341API
curl https://kongchang.com/api/v1/knowledge/claims/1066341MCP
get_claim(id=1066341)