[控场AI]
· 4 分钟阅读· 2,347 字

ArchSpace:用缩放定律预测大模型架构,告别盲目训练

ArchSpace:用缩放定律预测大模型架构,告别盲目训练

ArchSpace用记录、评审、引用三环节构建可积累的LLM架构知识库。

ArchSpace是一个面向大模型架构研究的公开平台,旨在填补工业界架构创新缺乏失败记录、学术界受限于算力难以验证规模化效果的 dual 缺口。平台围绕记录、评审、引用三个动作设计:每个架构提案需附实验设置、结果与推理过程,由社区评审,并被后续工作引用。其核心方法是用缩放定律从小规模实验外推更大规模下的模型损失,从而在昂贵训练之前评估想法。经过评审的提案可升级为新基线,形成正向循环。平台还提供Qwen3.5和OLMo3基线、拟合好的缩放定律及可复用训练配方作为初始参考。其成效取决于社区参与度,但为工业界与学术界搭建了架构知识积累的桥梁。

大模型架构决定了模型的缩放行为、训练效率和推理成本,是工业界和学术界共同关注的核心议题。然而,工业界如DeepSeek、Qwen、Kimi等团队虽然频繁推出架构创新,但公开报告很少记录哪些想法成功了、哪些被放弃以及背后的原因;学术界则受限于算力和不一致的基线,往往只能做小规模、单点对比,难以判断改进能否在更大规模上成立。ArchSpace作为一个公开平台,试图通过“记录、评审、引用”三个环节,让架构研究变得可积累、可验证。

ArchSpace平台概览

工业界与学术界的双重缺口

工业界在大模型架构上的探索并不少,但公开信息往往只展示最终成功的方案,失败路径和决策依据很少被记录。这导致后来者容易重复踩坑,也无法从他人的失败中学习。学术界则面临另一个问题:算力有限,通常只能在较小规模上做单点对比,而架构改进是否在更大规模下依然有效,往往难以验证。ArchSpace的出发点正是填补这两个缺口——它要求每个架构提案都附带实验和推理过程,并由社区评审,最终被后续工作引用。

用缩放定律提前预测大模型表现

ArchSpace的核心方法是用缩放定律(scaling laws)从小规模实验预测更大规模下的模型损失,从而在投入昂贵的大规模训练之前评估想法。这种做法在工业界已被广泛采用,但学术界由于资源和工具限制,较少系统性地使用。ArchSpace将这一实践平台化,让研究者可以在小规模实验的基础上,借助拟合的缩放定律推断架构在更大规模下的表现。这样既能降低验证成本,也能让学术界的架构研究更贴近工业界的实际决策场景。

缩放定律(Scaling Laws)是指模型损失与参数量、数据量、计算量之间呈现的幂律关系,通常可表示为 L(N) = a·N^(-α) + b 等形式,其中 N 为规模变量,a、b 为常数,α 为幂指数。OpenAI 在 2020 年关于神经语言模型缩放的研究、DeepMind 的 Chinchilla 工作都系统验证了这种规律:在固定计算预算下,模型参数量与训练 token 数存在最优配比,损失随规模增大而平滑下降。对架构研究而言,缩放定律的价值在于外推——用多个小规模训练点拟合曲线后,可以预测同一架构在更大参数或数据规模下的损失,从而在花费高昂的大规模训练之前筛掉表现不佳的设计。需要注意的是,缩放定律通常针对某一族架构拟合,跨架构比较时需保持数据分布、训练配方和分词器等条件一致,否则外推结论可能失真。

记录、评审与引用:构建可积累的架构知识库

ArchSpace的设计围绕三个动作展开:记录(Recording)、评审(Reviewing)和引用(Referencing)。每个架构提案都需要记录其实验设置、结果和推理过程,社区成员可以对其进行评审,后续工作则可以引用这些记录。通过这种方式,被验证有效的想法可以成为新的基线,供他人继续改进。平台还提供了初始参考,包括Qwen3.5和OLMo3的基线、拟合好的缩放定律以及可复用的训练配方,让新用户能够快速上手。

Qwen3.5 和 OLMo3 是两类具有代表性的开源基线。Qwen 系列由阿里通义千问广告团队持续迭代,其技术报告通常会披露模型规模、数据配比、注意力与 MoE 结构等关键设计,是工业界架构决策的重要参考。OLMo 系列则由 Allen Institute for AI 主导,强调完全开放——不仅开放权重,还公开训练数据、训练代码和中间检查点,使研究者能够复现并在此基础上做受控的架构对比。将这两类基线纳入平台,一方面提供了工业级与学术友好型两种参照,另一方面也让不同来源的架构提案在同一坐标系下比较,减少因基线不一致导致的结论偏差。可复用的训练配方则进一步降低了复现门槛,使小规模实验的结果更具可比性。

从单点实验到可复用基线

ArchSpace的目标不只是收集想法,而是让经过评审的架构提案成为新的基线。在传统研究中,基线往往固定不变,改进难以横向比较;而在ArchSpace上,经过社区验证的架构可以升级为基线,后续研究可以在此基础上继续推进。这种机制有助于形成正向循环:更多想法被记录和评审,更多有效方案成为基线,进而吸引更多研究者在上面做工作。平台希望通过这种方式,扩大影响下一代模型的架构想法范围,让更多有价值的探索被看见和复用。

在机器学习研究中,基线(baseline)是衡量新方法是否有效的参照系统,通常包括固定的模型结构、训练超参数、数据处理流程和评测协议。基线一旦变动,不同论文之间的数值就无法直接比较,这也是架构研究难以积累的主要原因之一。ArchSpace 让经过社区评审的架构升级为基线,本质上是在建立一套版本化的公共参照:新提案必须与当前基线在同一实验条件下对比,评审者也能追溯基线是如何从早期提案演化而来的。这种做法类似软件工程中的主干分支与持续集成——每次被合并的改进都成为后续开发的起点,而非一次性的一次性实验。其挑战在于基线的维护成本较高,需要保证训练配方、评测脚本和缩放定律拟合方法随基线同步更新。

对架构研究的潜在影响

ArchSpace的出现反映了一个趋势:大模型架构研究正在从“单点创新”走向“系统化积累”。通过记录失败与成功、利用缩放定律降低验证成本、建立可引用的基线,平台有望让架构研究更加透明和高效。当然,平台的成效取决于社区参与度——只有足够多的研究者愿意记录和评审,知识库才能真正发挥作用。但无论如何,ArchSpace为工业界和学术界之间搭建了一座桥梁,让架构创新不再局限于少数团队的内部经验。

#ArchSpace#LLM架构#缩放定律#大模型训练#架构研究平台#Qwen3.5#OLMo3
分享:

相关推荐