待验证50% 置信事实精确时间

Llama 3 旗舰版在 15.6 万亿 token 上预训练，计算量约为最大 Llama 2 的 50 倍。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/17

首次发现

有效期至：2027/1/15

来源

LLM训练到底做了什么？从随机噪声到智能的底层逻辑

涉及实体

Llama 3model Llama 2model

相关事实

待验证700亿参数的模型按Chinchilla最优对应约1.4万亿训练token69% 相似待验证现代 LLM 的词表规模在 5 万到 20 万之间。58% 相似待验证训练与美国同等规模模型需要五万张顶级英伟达卡或二十万张华为95055% 相似待验证Maia引擎的1亿+训练样本来源于Lichess公开对局数据55% 相似待验证Meta训练Llama 3系列时使用了超过1.6万张H100，头部机构训练集群规模普遍在数万张GPU以上54% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1049789

API

curl https://kongchang.com/api/v1/knowledge/claims/1049789

MCP

get_claim(id=1049789)