[控场AI]
基准

SimpleQA Verified

由Google DeepMind与Google Research基于OpenAI SimpleQA数据集清洗去重和主题平衡后构建的事实性问答基准,包含1000个问题,采用严格精确匹配评分

时间轴 (近 90 天)

10月19日

SerpApi将其Google Search API与Extract API接入GPT-6.1 Sol模型后,在SimpleQA Verified基准上取得了97.6%的准确率。

待验证50%
10月19日

SerpApi的97.6%准确率与Tavily已公布的得分并列第一。

待验证50%
10月19日

SimpleQA Verified基准包含1000个问题,由OpenAI原始SimpleQA数据集经过参考答案核对、相似问题去除和主题平衡后筛选得出。

待验证50%
10月19日

SimpleQA衍生自OpenAI于2024年发布的SimpleQA数据集,后者包含约4000条由人工编写、答案唯一且简短的事实性问题。

待验证50%
10月19日

SimpleQA Verified由Google DeepMind与Google Research推出。

待验证50%
10月19日

SerpApi通过基准泄漏检测排除了40个暴露了基准答案或评估提示的问题,最终在剩余960个问题中正确回答了937个。

待验证50%

全部知识事实 (6)

来源文章