中国开源模型仅落后美国闭源7个月：AI竞赛格局生变

一个开源榜单揭示的AI竞赛真相

当人们还在争论中美AI差距是两年还是五年时，一个由独立开发者构建的开源排行榜给出了一个令人意外的答案：7个月。

这个名为 whatmodel.sh 的榜单来自开发者 Jake Manger，他在 Reddit 上分享了这一发现。榜单的数据基础相当扎实——从 1,011 个来源收集了 22,113 个基准测试结果，覆盖 987 个基准测试。其中文本模型部分包含 1,211 个模型在 617 个基准上的 18,755 个结果。

更关键的是数据来源的区分：14,436 个结果来自独立评估（ACL Anthology、arXiv 论文、Epoch AI、LMArena、EvalPlus、EleutherAI harness 等），7,677 个来自实验室自报。这种透明度和可追溯性，让结论比一般的排行榜更有说服力。

开源权重模型与开放源代码模型在AI领域是两个常被混淆的概念。开源权重模型指模型的训练参数（权重）公开可下载，用户可以自行部署、微调甚至蒸馏，但训练数据、训练代码和完整训练流程通常不公开。而完全开源的模型（如部分早期的BLOOM）会同时公开数据与代码。DeepSeek^广告、通义千问^广告等中国公司发布的大多属于前者。这种“半开放”模式让社区能快速在其基础上创新，但也意味着外界难以完全复现模型能力。理解这一区别，有助于更准确地评估“开源模型追赶闭源”的真实含义——追赶的是能力边界，而非完全的透明与可复现性。

7个月的差距意味着什么

这个数字之所以值得关注，是因为它指向一个趋势：开源权重模型正在快速逼近闭源模型的能力边界。

中国公司如 DeepSeek、阿里通义千问、智谱等持续发布开源权重模型，而美国头部实验室（OpenAI、Anthropic、Google）的主力模型仍以闭源为主。7个月的差距，在AI能力迭代以周为单位的当下，几乎等同于一个版本代差。

从实际应用角度看，这意味着企业如果选择部署中国开源模型，其能力大约相当于半年前最好的闭源模型。对于大量非前沿场景——客服、内容生成、代码辅助——这个差距可能已经小到不影响实际效果。

你可能没注意到，榜单将“独立评估”与“实验室自报”严格区分。独立评估占比约 77%，这让“7个月”的结论建立在一个相对中立的基础上，而非依赖厂商自己的benchmark选择。

基准测试（Benchmark） 是衡量AI模型能力的标准化考题集，例如MMLU测试多学科知识、HumanEval测试代码生成、GSM8K测试数学推理。每个基准通常包含数百到数万道题目，模型得分越高代表在该能力维度上越强。但基准测试存在明显局限：题目可能被模型训练数据污染，导致“刷榜”；不同机构可能选择性地报告有利的基准结果。whatmodel.sh 聚合了987个基准的22,113个结果，并通过区分独立评估与实验室自报来缓解这一问题。然而，基准分数与真实应用体验之间仍有差距，尤其在多轮对话、工具调用等复杂场景中，单一分数难以全面反映模型的实际表现。

开源AI排行榜的方法论启示

whatmodel.sh 的价值不仅在于结论，更在于它展示了一种可验证的AI评估方式。

数据集采用 CC BY-SA 4.0 许可，评分代码使用 MIT 许可，全部开源在 GitHub 上。每个数字都能追溯到原始来源，每个来源的许可证都被记录。这种做法直接回应了当前AI评测领域的信任危机——当厂商可以选择性报告benchmark时，第三方独立聚合的价值就凸显出来。

交互版本允许用户点击任意模型查看其得分和来源，这种透明度对于研究者、企业技术选型团队都有实用价值。开发者也在GitHub上呼吁，如果觉得有用可以给项目点星。

CC BY-SA 4.0 是知识共享许可协议的一种，要求使用者署名并以相同方式共享衍生作品，适用于数据集等创作内容。MIT 许可 则是极其宽松的软件许可证，允许使用者自由使用、修改、分发代码，只需保留版权声明。两者结合意味着 whatmodel.sh 的数据可以被研究者自由使用和再分发，但必须保持开源；代码则几乎没有任何使用限制。这种许可策略在AI评测领域尤为重要，因为它降低了第三方验证和二次分析的门槛，有助于建立社区信任。相比之下，许多厂商的评测报告不公开原始数据，导致结论难以复核。

对AI行业格局的潜在影响

如果7个月的差距是真实的且持续收窄，它对行业的影响是多层面的。

对开源社区而言，这是持续投入的回报信号。Llama系列之后，中国开源模型已成为全球开源AI生态的重要力量。对企业用户来说，开源模型的可定制性和成本优势，在差距缩小到半年以内时变得更加有吸引力。

对闭源厂商而言，技术代差带来的商业护城河正在变窄。当开源模型只落后7个月，闭源模型必须提供超出原始能力的东西——更好的工具链、安全保障、企业级支持——才能维持溢价。

当然，单一榜单不能代表全部。不同任务类型、不同评测维度下的差距可能差异很大。但这个数据至少提供了一个新视角：AI竞赛的格局，比很多人想象的更加动态和紧凑。

完整数据和交互图表可在 whatmodel.sh 查看，项目源码已开源在 GitHub。

版本代差 在AI领域通常指模型能力出现明显跃升的迭代周期。以OpenAI的GPT系列为例，从GPT-3到GPT-4大约间隔两年半，但中间经历了多个小型迭代。当说开源模型落后闭源模型“7个月”时，实际是指开源模型当前的最佳能力，大约相当于闭源模型在7个月前发布版本的水平。考虑到头部实验室通常每6-12个月推出重大升级，7个月的差距意味着开源模型可能仅落后一个主要版本。然而，这种追赶并非线性：闭源模型在推理能力、多模态、安全性对齐等方面的进步可能突然拉大差距，而开源社区则依赖全球协作和快速微调来缩小差距。因此，7个月是一个动态快照，而非固定终点。