共 1 篇相关文章
从Hacker News的讨论出发，分析千万亿参数Transformer的训练可行性：显存与通信的硬约束、MoE稀疏化与极致并行的工程路径，以及scaling law收益与数据瓶颈的现实追问。
