待验证50% 置信事实精确时间

当前主流大模型的训练数据量已达到十几T甚至六十T token

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30

来源

Hyper-Connections：残差连接十年来首次重大改进

bilibili姚育平2026/6/6

相关事实

待验证在千亿参数大模型训练中，节点间通信开销可能占总训练时间的30%-50%72% 相似待验证LLaMA 1的训练数据量为1.4T token，LLaMA 2的训练数据量为2T token71% 相似待验证主流大模型的训练数据通常有6-18个月的滞后期69% 相似待验证Mid-training（持续预训练）是介于预训练和微调之间的训练阶段，数据量通常达到数千亿到数万亿token69% 相似已验证2022年DeepMind发布Chinchilla论文，修正了最优训练配比，指出在给定算力预算下模型参数量与训练token数应大致保持1:20的比例69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/53866

API

curl https://kongchang.com/api/v1/knowledge/claims/53866

MCP

get_claim(id=53866)