模型FineWeb-2
FineWeb2
Hugging Face 发布的大规模多语言预训练语料库，覆盖数百种语言，用于大模型训练数据研究
时间轴 (近 90 天)
10月23日
研究在 FineWeb2 的斯洛伐克语部分（2650 万文档）上使用 LLM 代理作为语料库调试器进行审计。
待验证50%
10月23日
代理发现的最大问题是机器生成内容农场，占斯洛伐克语语料库的 5.32%（1,408,437 个文档）。
待验证50%
Hugging Face 发布的大规模多语言预训练语料库，覆盖数百种语言，用于大模型训练数据研究
研究在 FineWeb2 的斯洛伐克语部分（2650 万文档）上使用 LLM 代理作为语料库调试器进行审计。
代理发现的最大问题是机器生成内容农场，占斯洛伐克语语料库的 5.32%（1,408,437 个文档）。