待验证50% 置信事实精确时间
在 GPT 风格与 Llama 风格的预训练任务上，作者覆盖了从 130M 到 2.7B 参数的多个模型规模进行实验。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证一位B站UP主借助Claude、Cursor等AI工具，成功训练出了一个约1300万参数的迷你GPT模型75% 相似待验证GPT 系列、Llama 等模型的核心能力绝大部分来自预训练而非后续微调阶段73% 相似待验证训练阶段化方法包括GPT-4等模型采用的渐进式sequence length增长、Chinchilla论文启发的动态batch size调度、μP参数化的分层学习率缩放72% 相似待验证Stanford的Alpaca项目使用GPT-3.5生成52K条指令数据来训练7B参数的LLaMA70% 相似已验证GPT-2有四个规格：117M、345M、762M和1.5B参数70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013233API
curl https://kongchang.com/api/v1/knowledge/claims/1013233MCP
get_claim(id=1013233)