BharatSynthQA
面向印度寺庙与宗教遗产的段落 grounded 问答数据集,包含布尔型、事实型和解释型问答对,用于评估LLM的文化遗产领域知识及RAG效果
时间轴 (近 90 天)
研究论文《BharatSynthQA: A Context-Grounded Question Answering Dataset on Indian Temples and Religious Heritage》指出,现有模型对印度寺庙领域的知识掌握薄弱。
BharatSynthQA数据集构建流程包括:从权威遗产来源获取种子主题,爬取维基百科文章,按主题相关性和印度地点进行过滤,然后利用少样本提示的大语言模型生成问答对。
BharatSynthQA数据集最终从131,494个生成问答对中保留了98,677个。
BharatSynthQA数据集单独发布了300个人工标注的问答对作为参考集。
对BharatSynthQA数据集子样本的人工评估显示,89.83%的问题构造正确。
BharatSynthQA数据集已在Hugging Face上公开,地址为https://huggingface.co/datasets/theshivam7/bharatsynth-qa。
BharatSynthQA数据集是一个基于段落的问答数据集,聚焦印度寺庙,并涵盖与之相关的其他宗教场所。
全部知识事实 (7)
BharatSynthQA数据集单独发布了300个人工标注的问答对作为参考集。
50%待验证BharatSynthQA数据集构建流程包括:从权威遗产来源获取种子主题,爬取维基百科文章,按主题相关性和印度地点进行过滤,然后利用少样本提示的大语言模型生成问答对。
50%待验证BharatSynthQA数据集最终从131,494个生成问答对中保留了98,677个。
50%待验证研究论文《BharatSynthQA: A Context-Grounded Question Answering Dataset on Indian Temples and Religious Heritage》指出,现有模型对印度寺庙领域的知识掌握薄弱。
50%待验证对BharatSynthQA数据集子样本的人工评估显示,89.83%的问题构造正确。
50%待验证BharatSynthQA数据集是一个基于段落的问答数据集,聚焦印度寺庙,并涵盖与之相关的其他宗教场所。
50%待验证BharatSynthQA数据集已在Hugging Face上公开,地址为https://huggingface.co/datasets/theshivam7/bharatsynth-qa。
50%