待验证50% 置信事实精确时间
Tiny-MoE在80亿（8B）token上从零训练，使用FineWeb-Edu、Cosmopedia v2和OpenWebMath数据集
1
来源数
50%
置信度
长期有效
时效性
2026/7/13
首次发现
来源
15岁少年从零训练200M MoE语言模型：完整架构与实战拆解
redditr/learnmachinelearning2026/7/12
相关事实
待验证OpenAI官方API企业用户可申请数据不用于模型训练的Zero Data Retention协议62% 相似待验证OpenAI使用"GPTBot"标识其训练数据爬虫59% 相似待验证一个获得 72.7k star 的开源项目提供本地化界面，支持一键运行并微调模型，低显存也能跑且训练能提速59% 相似待验证Cosmopedia v2由Mixtral-8x7B等模型批量生成合成数据，OpenWebMath专注从Common Crawl提取数学内容57% 相似待验证EleutherAI的Pythia系列和BLOOM是达到真正开源标准（包括训练数据、训练代码、模型架构和权重全面公开）的少数AI项目代表57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/502529API
curl https://kongchang.com/api/v1/knowledge/claims/502529MCP
get_claim(id=502529)