概念nanoGPT Speedrun
NanoGPT Speedrun
一种开源社区竞速活动,目标是在固定硬件条件下用最短挂钟时间将GPT模型训练到指定性能基准,强调算法与工程优化效率而非单纯算力堆叠
时间轴 (近 90 天)
9月12日
NanoGPT Speedrun 概念脱胎于 Andrej Karpathy 的 nanoGPT 项目
待验证50%
9月12日
在 NanoGPT Speedrun 中,Muon 通常只用于隐藏层的矩阵权重,而嵌入层和输出层仍保留 AdamW
待验证50%
9月12日
NanoGPT Speedrun 的记录必须公开代码,以便任何人验证和复现
待验证50%