180B模型登顶MMLU-Pro与GPQA：Darwin-180B-RSI benchmark解读

韩国AI初创公司VIDRAFT发布的开源模型Darwin-180B-RSI，近日在俄罗斯独立基准聚合站AIhoster的榜单上同时拿下MMLU-Pro和GPQA Diamond两项第一。参数只有180B，却压过1.6T的DeepSeek-V4-Pro和2.8T的Kimi-K3，这个结果值得拆开看。

这个模型和这个榜单分别是什么

Darwin-180B-RSI是VIDRAFT（비드래프트）开发的1800亿参数开放权重语言模型，发布在Hugging Face的FINAL-Bench/Darwin-180B-RSI仓库下。VIDRAFT将自己定位为"Pre-AGI"阶段的AI公司，Darwin系列是其主力产品线。

AIhoster则是一个独立基准聚合站，做法与LMArena这类重算平台不同：它收集模型卡、论文和公开榜单上报告的成绩，不重新跑分，也不做归一化合成指数。每条记录绑定确切的仓库ID和评测配置，方法论上更透明，但也意味着成绩的可信度取决于原始报告方。

截至2026年10月19日的更新，Darwin-180B-RSI在MMLU-Pro上评测全部12,032道题，在GPQA Diamond上评测全部198道题，两项均列第一。

评测配置透露了什么

公开披露的评测配置里有几个关键细节：

• 思考预算高达131,072 tokens。两个基准都使用了这一设置，说明模型走的是长链推理路线，在给出最终答案前分配大量token做中间推导。
• 采样策略因基准而异。MMLU-Pro用单次采样（temperature=1.0、top_p=0.95、top_k=20）；GPQA Diamond则在相同参数下做最多16次采样的多数投票——典型的测试时计算扩展，用推理成本换准确率。
• 精度为bf16，大规模推理的常规选择。

架构细节、训练超参和数据集信息均未公开。从结果倒推，180B参数做到这个水平，大概率来自架构选择或训练数据策展的优化，而非单纯堆规模。

思考预算（thinking budget） 指推理模型在生成最终答案前，允许用于内部中间推理的最大 token 数。这一机制最早由 OpenAI o1 系列带火，后来在开源推理模型中普及：模型被训练成先输出一段思维链，再给出最终回复。预算越大，模型能探索的推理路径越长，在数学、科学等需要多步推导的任务上通常表现更好，但延迟和成本也线性上升。131,072 tokens 的预算意味着单次请求的中间推理可能长达数万词，远超普通对话模型的输出长度。

测试时计算扩展（test-time compute scaling） 指在模型参数固定不变的前提下，通过增加推理阶段的算力投入来提升准确率，常见手段包括多次采样后投票、延长思维链、搜索式解码等。它与训练时扩展（堆参数、堆数据）形成互补：前者在部署侧花钱换分数，后者在训练侧花钱换能力。多数投票（majority voting）是其最朴素的实现——对同一问题采样多次，取出现频率最高的答案作为最终输出，前提是模型独立采样时错误具有随机性而非系统性。

两张榜单的成绩对比

MMLU-Pro（多领域专家知识）：

排名	模型	得分	参数量
1	Darwin-180B-RSI	88.1%	180B
2	MiniMax-M2.1	88.0%	229B
3	Intern-S2-Preview	88.0%	36.1B
4	Qwen3.5-397B-A17B	87.8%	403B
5	DeepSeek广告-V4-Pro	87.5%	1.6T

GPQA Diamond（专家级物理、化学、生物）：

排名	模型	得分	参数量
1	Darwin-180B-RSI	94.4%	180B
2	Kimi-K3	93.5%	2.8T
3	Darwin-397B-ZTC	93.4%	404B
4	Ornith-1.5-397B	92.8%	403B
5	Qwen3.8-2.4T-A95B	92.6%	2.4T

MMLU-Pro前五名的分差只有0.6个百分点，第一名与第五名实质上处于同一梯队，榜首位置对采样随机性相当敏感。GPQA的差距稍大，但同样需要看清推理条件的差异：Darwin-180B-RSI的94.4%来自最多16次采样的多数投票，而第三名Darwin-397B-ZTC的93.4%用的是贪心解码、不做投票。两者不在同一推理预算下，直接比较分数并不公平。

另一个值得注意的信号是VIDRAFT的产品矩阵。GPQA榜单上同时出现三个Darwin模型——180B-RSI第一、397B-ZTC第三、398B-JGOS第九（90.9%）——说明这是一个多尺度、多推理配置并行迭代的开发管线，而非单点突破。

MMLU-Pro 是 MMLU 的增强版，由 TIGER-Lab 于 2024 年推出。它把原版的四选一改为十选一，加入更多推理密集型题目，并扩大了学科覆盖，共约 12,000 道题。选项从 4 个增至 10 个后，随机猜测的基线从 25% 降到 10%，因而更能区分模型的真实知识水平，也更抑制靠选项排除法蒙分的行为。这也是当前开源模型报告成绩时最常引用的知识类基准之一。

GPQA Diamond 是 GPQA（Graduate-Level Google-Proof Q&A）中难度最高、筛选最严的子集，共 198 道题，由物理、化学、生物领域的博士级出题者撰写，设计目标是即便允许使用搜索引擎，非专家也难以在短时间内答对。题目为四选一，随机基线约 25%，但实际人类专家（非同领域）的准确率也明显低于同领域博士。它被广泛用于衡量模型在专家级科学问题上的推理能力，题量小导致单题权重高，采样策略对最终分数的影响尤其显著。

效率优势与需要保留的疑问

180B参数在MMLU-Pro上超过1.6T的DeepSeek-V4-Pro，在GPQA上超过2.8T的Kimi-K3，参数效率的提升是明确的。在推理成本成为部署瓶颈的当下，这种量级的效率差异对实际落地有直接意义。

但有几个问题信源本身没有回答：

成绩是否经过独立复现？ AIhoster明确表示不重算分数，Darwin-180B-RSI的成绩来源是其自家模型卡。第三方独立复现尚未得到确认。

能否商用？ 许可证条款在原始材料中未说明，使用前需查阅Hugging Face模型卡。

权重是否真正开放？ 材料只给出仓库路径和下载命令，实际可获取性、API端点、推理服务可用性都未确认。

huggingface-cli download FINAL-Bench/Darwin-180B-RSI

开放权重（open weights） 与开源（open source） 在法律和技术上并不等同。开放权重只意味着模型参数文件可下载，训练数据、训练代码、超参数配方未必公开，许可证也可能附加商用限制或用户规模门槛（例如部分模型采用的自定义社区许可）。文章提到的“权重是否真正开放”，实际包含三层可验证问题：参数文件能否稳定下载、许可证是否允许目标用途、以及是否提供可用的推理服务或量化版本。三者缺一，都会影响模型在生产环境中的可用性。在评估此类模型时，仓库 ID 的存在只能证明其发布过，不能替代对模型卡许可字段和实际下载可用性的核查。

对开发者意味着什么

如果权重确实开放且许可允许，Darwin-180B-RSI在需要前沿推理能力、又受限于显存和推理预算的场景里是一个值得评估的选项。131K的思考预算配合多数投票，在数学、科学类硬题上可能比同等规模模型更有优势。

但榜单第一不等于生产可用。模型卡来源的分数、未公开的架构、未明确的许可证、缺失的第三方复现，这四点构成了一条需要逐一验证的清单。VIDRAFT同时推进多个Darwin变体的做法，也意味着当前这个版本可能很快被迭代版本替代——关注其后续更新比盯着单次榜首更有价值。