国产芯片训练万亿大模型,开源逼近闭源

大模型竞争焦点从参数规模转向全流程工程能力与交付质量。
文章从三条新闻切入,指出大模型竞争的衡量标准正在变化。美团Longcat20以2万亿总参数全程在国产芯片上完成训练,单次最多调用超5万张国产芯片,性能提升接近50%,说明国产芯片已能支撑超大规模模型的完整训练,而非仅做推理替代;配套系统覆盖16款芯片、服务3.7万P算力,形成模型、算力、调度与应用的闭环。同时,Moonshot AI、Mistral和腾讯的高容量开放模型在金融与网络安全等专业领域接近甚至超过部分闭源系统,评估重点应转向数据私有化、推理可审计和人工接管能力。Thinking Machines公布594B稀疏MoE模型Inkling R Small并承诺开放完整权重,但许可证、推理成本和部署工具链才是真正值得等待的部分。
国产算力闭环:万亿参数模型不再依赖进口芯片
美团披露的Longcat20模型总参数达到2万亿,从预训练初始化到最终发布全程在国产芯片上完成训练。单次训练最多调用超过5万张国产芯片,整体训练周期没有明显拉长,模型性能相比初始版本提升接近50%。
这组数据的意义不只在参数规模。过去讨论大模型训练底座,行业习惯先看算力总量和集群规模,芯片适配效率往往被放在次要位置。Longcat20的案例说明,国产芯片已经能够支撑超大规模模型的完整训练流程,而不是只做推理或微调环节的替代方案。
配套的基础设施同样值得关注。美团另一套已投入运行的系统覆盖16款芯片,服务3.7万P算力。多芯片适配能力决定了算力调度的灵活性,也直接影响模型厂商在训练任务中的选择空间。

对模型厂商和芯片企业来说,这意味着模型、算力、调度和应用验证正在形成闭环。以后选择训练底座,参数规模只是起点,芯片适配效率和全流程跑通能力才是更实际的考量。参数不是拿来供着看的,得真能跑出成绩。
稀疏MoE架构(Sparse Mixture-of-Experts)是理解超大规模模型训练成本的关键。它把模型拆成多个“专家”子网络,每个token只激活其中少数几个,总参数可以做到很大而单次计算量相对可控。Longcat20达到2万亿参数,若采用稠密结构,单次前向和反向传播的算力开销将难以承受;稀疏设计让“总参数规模”和“实际训练开销”解耦,这也是近年万亿级模型普遍采用的路线。代价是路由均衡、专家负载和通信开销会带来额外工程复杂度,对芯片间互联和调度系统提出更高要求。
开放权重模型逼近闭源前沿,专业领域成新战场
近期Moonshot AI、Mistral和腾讯陆续发布高容量模型,在金融与网络安全等专业领域开始接近甚至超过部分闭源系统。开放模型过去常见的短板集中在复杂检索、工具调用和高风险决策的稳定性上,现在这一差距正在缩小。
TechNews Reel的观察指出,这一场景正在成为开放模型争夺闭源优势的新战场。对金融和网络安全团队而言,评估重点需要从通用榜单排名转向真实业务流程:数据是否可私有化、推理是否可审计、失败时能否人工接管,这三项指标比跑分更能反映生产环境的可用性。

开源不是免费代餐,选型时的算盘还是要打得精。开放权重的价值在于可控性和部署自由度,但许可证条款、推理成本和运维复杂度都会影响实际落地效果。

**开放权重(Open Weights)**与“开源”并不是同一概念。开放权重指模型参数可以下载和部署,但训练数据、训练代码和完整配方未必公开;开源则通常要求代码、数据和处理流程也可见。对金融、网络安全等受监管行业,开放权重的核心价值是数据不出域、推理可审计、可做私有化微调,而不一定意味着可以自由再分发或商用。不同许可证(如Apache 2.0、Llama社区许可、自定义商用条款)在再分发、商业化、输出结果使用上的限制差异很大,选型时必须逐条核对。
Inkling R Small:594B稀疏模型承诺开放完整权重
11月7日,Thinking Machines公布Inkling R Small,总参数594B,采用稀疏MoE架构。官方称其推理与代码基准达到头部旗舰水平,并承诺开放完整权重。这家公司由OpenAI前CTO创立,从发布之初就受到关注。

如果后续如约落地,594B开放权重模型将进一步扩大开发者可用的模型池,也会给云厂商和芯片厂商带来新的适配竞争。对AI应用团队来说,真正值得等待的是许可证条款、推理成本和部署工具链,而不是发布会口号。承诺开放只是起点,按时交付才算信用。
三条新闻放在一起看,国产算力自主化、开放权重模型的专业化竞争、以及新玩家对开放承诺的兑现节奏,共同指向一个趋势:大模型竞争的焦点正在从参数规模转向全流程工程能力和实际交付质量。
“开放完整权重”的兑现节奏是评估这类发布的关键。承诺开放到实际可下载之间,通常要经过权重分片、推理框架适配(如vLLM、TensorRT-LLM)、量化版本和许可证定稿等环节,周期从数周到数月不等。对应用团队而言,权重是否附带可商用许可、是否提供与主流推理栈兼容的格式、显存需求能否在现有集群上跑通,比参数规模更能决定落地时间。594B稀疏模型即便推理激活参数较少,完整权重仍需数百GB级存储和较高带宽,部署门槛不可低估。
相关推荐

SMO框架:将自然语言技能编译为可复用图结构
SMO框架将自然语言技能编译为状态-动作-结果砖块图,在SkillsBench v1.1上实现59.3倍表示缩减,平均任务得分从0.6379提升至0.7478,运行时token消耗降低38.38%。

广义转移框架:非二元成分句法分析中的归约域识别
本文介绍一种广义转移框架,用于非二元成分句法分析中的归约域识别,统一了自顶向下、中序和自底向上分析,并在PTB和CTB上验证了有效性。

投机自蒸馏:高效知识内化的新范式
投机自蒸馏(SSD)通过逐token混合策略,让教师仅在学生预测显著分歧时介入,在减少38-69%监督token的同时几乎匹配全策略蒸馏性能,并在遗忘测试中表现最佳,为知识内化设立新帕累托前沿。