[控场AI]
产品

FineWeb-Edu

Hugging Face于2024年发布的高质量网页文本数据集,从CommonCrawl中筛选教育性内容,通过分类器评分保留高质量样本,适用于小型语言模型训练

时间轴 (近 90 天)

9月11日

使用Edu-QuRating筛选混合集训练出的模型在九项基准测试上的整体观测准确率高于FineWeb-Edu基线模型,且性能提升集中在特定任务上

待验证50%
9月11日

HuggingFace在2024年发布FineWeb-Edu数据集,通过训练分类器对网页内容的教育价值进行0-5分评分

待验证50%
9月11日

在受控单次预训练对比实验中,使用Edu-QuRating筛选混合集训练的模型在九项基准测试上的整体观测准确率高于FineWeb-Edu基线模型,且性能提升集中在特定任务上

待验证50%

全部知识事实 (3)

来源文章