已验证65% 置信事实时间未知

LLaMA 3的训练数据量从LLaMA 2的2万亿token大幅提升至超过15万亿token

3

来源数

65%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

4-bit QLoRA微调LLaMA 3实战：消费级GPU训练80亿参数大模型指南

githubCre4T3Tiv3

涉及实体

LLaMA 3model LLaMA 2model

相关事实

待验证Meta的LLaMA 3使用了超过15万亿token进行训练77% 相似待验证随着大型语言模型训练集群规模扩张，HBM需求以每年约翻倍的速度增长61% 相似待验证2K工作流将代理点数量从默认的1200万提升到2500万，2K原始网格约6400万面，抽稀后的版本约400万面58% 相似待验证Meta 的 Llama 3 系列训练耗费了数千万美元级别的算力57% 相似待验证NCP-ArchPreview扩展到89亿参数，并在Dolma-3数据集的5.73万亿Token上进行训练55% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/29150

API

curl https://kongchang.com/api/v1/knowledge/claims/29150

MCP

get_claim(id=29150)