FineWeb-Edu
Hugging Face于2024年发布的高质量网页文本数据集，从CommonCrawl中筛选教育性内容，通过分类器评分保留高质量样本，适用于小型语言模型训练
时间轴 (近 90 天)
在FineWeb-Edu数据集上，循环UDLM达到与非循环UDLM相同的验证NLL时，仅需约非循环模型FLOPs的1/3.3。
论文在FineWeb-Edu数据集上进行了四个模型规模的实验，从60M到1B参数。
该模型训练分两阶段：先在 FineWeb-Edu 约 2000 万句子上做掩码语言模型预训练，再用 1202 万对（噪声, 干净）数据做纠错微调，其中 30% 是恒等对。
使用Edu-QuRating筛选混合集训练出的模型在九项基准测试上的整体观测准确率高于FineWeb-Edu基线模型，且性能提升集中在特定任务上
HuggingFace在2024年发布FineWeb-Edu数据集，通过训练分类器对网页内容的教育价值进行0-5分评分
在受控单次预训练对比实验中，使用Edu-QuRating筛选混合集训练的模型在九项基准测试上的整体观测准确率高于FineWeb-Edu基线模型，且性能提升集中在特定任务上
全部知识事实 (6)
在FineWeb-Edu数据集上，循环UDLM达到与非循环UDLM相同的验证NLL时，仅需约非循环模型FLOPs的1/3.3。
50%待验证论文在FineWeb-Edu数据集上进行了四个模型规模的实验，从60M到1B参数。
50%待验证该模型训练分两阶段：先在 FineWeb-Edu 约 2000 万句子上做掩码语言模型预训练，再用 1202 万对（噪声, 干净）数据做纠错微调，其中 30% 是恒等对。
50%待验证使用Edu-QuRating筛选混合集训练出的模型在九项基准测试上的整体观测准确率高于FineWeb-Edu基线模型，且性能提升集中在特定任务上
50%待验证HuggingFace在2024年发布FineWeb-Edu数据集，通过训练分类器对网页内容的教育价值进行0-5分评分
50%待验证在受控单次预训练对比实验中，使用Edu-QuRating筛选混合集训练的模型在九项基准测试上的整体观测准确率高于FineWeb-Edu基线模型，且性能提升集中在特定任务上
50%