[控场AI]
基准BharatSynthQA数据集

BharatSynthQA

面向印度寺庙与宗教遗产的段落 grounded 问答数据集,包含布尔型、事实型和解释型问答对,用于评估LLM的文化遗产领域知识及RAG效果

时间轴 (近 90 天)

11月10日

研究论文《BharatSynthQA: A Context-Grounded Question Answering Dataset on Indian Temples and Religious Heritage》指出,现有模型对印度寺庙领域的知识掌握薄弱。

待验证50%
11月10日

BharatSynthQA数据集构建流程包括:从权威遗产来源获取种子主题,爬取维基百科文章,按主题相关性和印度地点进行过滤,然后利用少样本提示的大语言模型生成问答对。

待验证50%
11月10日

BharatSynthQA数据集最终从131,494个生成问答对中保留了98,677个。

待验证50%
11月10日

BharatSynthQA数据集单独发布了300个人工标注的问答对作为参考集。

待验证50%
11月10日

对BharatSynthQA数据集子样本的人工评估显示,89.83%的问题构造正确。

待验证50%
11月10日

BharatSynthQA数据集已在Hugging Face上公开,地址为https://huggingface.co/datasets/theshivam7/bharatsynth-qa。

待验证50%
11月10日

BharatSynthQA数据集是一个基于段落的问答数据集,聚焦印度寺庙,并涵盖与之相关的其他宗教场所。

待验证50%

全部知识事实 (7)

来源文章