开源大模型在《Among Us》投票中为何输给小网络？

把语言模型放进《Among Us》的会议投票环节，看起来是它最擅长的场景：船员需要通过对话找出藏在其中的内鬼，有人被击杀后大家发言、报位置、指控并投票，得票最多者被扔出飞船。开发者 Seth Wheeler 在自己的模拟器里做了这个实验，用开源权重模型 gpt-oss:20b 替代原本由小型循环网络驱动的投票系统，结果在六种配置中，大模型从未让船员表现得更好。

实验设置

每个存活玩家（无论船员还是内鬼）都作为独立 prompt 发给同一个模型，模型回复即是该玩家的发言和投票。船员的 prompt 只包含其角色可知的信息：走到哪里、何时看到谁、目击到的击杀或通风管道，以及所有人声称位置的表格。内鬼的 prompt 则额外包含真实移动路径（标记为秘密）和撒谎许可。会议之外的行为——移动、任务、击杀——仍由训练好的机器人控制，只有会议环节被替换。

会议格式有三种：玩家轮流发言并可以相互提出结构化问题（比如“20秒前你在哪”）；在船员 prompt 中加入投票网络的“直觉”判断；以及带直觉的自由轮流对话。对比基准是同一批机器人、同一大厅，由训练网络完成所有投票，双方都如此，共 300 局。

Among Us 是 2018 年发布的一款多人社交推理游戏。每局由 4 至 15 名玩家组成，其中少数玩家被随机指派为“内鬼”（Impostor），其余为“船员”（Crewmate）。船员需要通过完成小任务或投票驱逐所有内鬼来获胜，内鬼则通过击杀船员、破坏设施来制造混乱。游戏分为两个阶段：地图上的自由移动阶段，以及发现尸体或按下紧急按钮后触发的会议阶段。会议阶段的对话与投票是游戏的核心决策环节，也是本实验替换模型的对象。

gpt-oss:20b 是 OpenAI 于 2025 年发布的开源权重推理模型，采用 MoE（混合专家）架构，总参数量约 210 亿，激活参数约 36 亿。它支持可调节的推理强度，并针对对话与指令跟随任务做了后训练。本实验选择该模型的原因是它权重公开、可在本地推理，同时具备较强的通用语言与推理能力，适合用来测试“通用大模型能否替代专用小模型”这一假设。

本实验中的小型循环网络是一个在模拟器内部训练的策略网络，用于在会议中输出投票决策。它的输入是结构化的游戏状态特征（如位置、目击事件、历史投票等），输出是每个玩家的怀疑分数。与语言模型不同，它不处理自然语言，也不需要通用知识；它的全部优势来自在数千局同一模拟器的对局中反复校准，因此其怀疑分数与“谁最终被证明是内鬼”这一标签高度对齐。实验将它作为基准，是因为它代表了“在特定环境中大量训练”的专用模型能力上限。

八人两内鬼：大模型单独表现远逊于网络

使用第二联赛机器人时，训练网络的船员胜率为 52.0%，每局平均驱逐 0.99 个内鬼。而 gpt-oss 仅在轮流问答格式下，16 局赢了 2 局（12.5%），每局只驱逐 0.06 个内鬼，却错误驱逐了 0.94 个无辜船员。这个差距远超随机波动（单侧 Fisher 精确检验，p = 0.0017），不过需要注意模拟器版本的不同。

当把投票网络的数值作为“直觉”放入船员 prompt 后，情况发生变化。直觉行开头写着：“你的直觉（一个训练模型读取你看到的一切，加上目前的指控；它大约 70% 的情况下能选对真正的内鬼，请结合事实权衡）：”随后列出每个其他玩家是内鬼的百分比概率。该 70% 是作者写 prompt 时的粗略估计，并非实际测量。加入直觉并使用轮流问答格式后，船员 16 局赢了 8 局，与网络基准几乎无法区分（p = 0.54）。如果模型基本按照直觉指示投票，这就是预期结果；作者没有测量模型实际遵循直觉的频率。

十五人三内鬼：差距缩小但依然落后

在 15 人三内鬼的大厅中，两种投票方式下船员胜率都更高，但排序保持不变。三种联赛的对比均使用带直觉的对话格式：

机器人来源	训练网络（300局，当前版本）	gpt-oss 对话+直觉
第二联赛	89.7%	12 局 10 胜（83%），早期版本
第四联赛	84.7%	20 局 11 胜（55%），早期版本
第六联赛	93.3%	20 局 16 胜（80%），当前版本

第六联赛那一行是唯一严格可比的实验：相同机器人、相同模拟器版本、相同设置、同一天运行。20 局 16 胜对比 300 局 280 胜，单侧 Fisher 精确检验 p = 0.052，20 局 16 胜的 95% 置信区间为 58% 到 92%。单看这一行，结果处于暗示性而非确定性之间。第四联赛的差距更大（p = 0.0025），但在那次运行与基准之间，作者改变了会议处理持续破坏的方式以及内鬼关门时知道什么，因此不应过分依赖。

统计六种配置：在一种中语言模型明显比网络差（八人无直觉）；在有直觉的五种中，它匹配网络一次，其余四次落后，但每次的差距单独来看都太小或混杂因素太多，无法下定论。没有任何一种配置中它表现得更好。

成本与性能的错位

第六联赛中，15 人局使用 gpt-oss 会议平均耗时 524 秒挂钟时间。几乎全部时间花在约 4 次会议的轮流发言上，每个玩家每轮调用一次模型。而训练网络的投票完全不需要模型调用。如果更好的投票能值回这个代价，那还算公平，但投票结果并没有更好。

为什么会这样

这部分是作者的解读而非测量结果。训练网络有一个“不公平”的优势，而这恰恰是重点：它们在本模拟器数千次会议的结果上训练，怀疑分数是针对“谁最终被证明是内鬼”校准的。语言模型带来的是关于欺骗听起来什么样的通用知识。但这里的内鬼听起来并没有任何异常——它只是说出一个房间名，要识破谎言唯一的办法是将该声明与“谁可能看到那个房间”进行核对。prompt 中包含了每个玩家看到的内容，但没有任何结果表明模型能可靠地完成这个核对。而当 prompt 中有了网络给出的数字时，它的表现也只是和网络持平。

作者早前的一项基准测试——在《Mafia》游戏中给语言模型排名识别骗子——发现第一天的指控完全靠运气。在第一天的场景中，关于骗子的信息尚未可知。但在本实验中，证据就在每个船员的 prompt 里，这让输给一个小型网络更加难以辩解。

Fisher 精确检验是一种用于 2×2 列联表的统计显著性检验，适用于样本量较小、期望频数偏低的情形。在本实验中，它被用来比较“训练网络”与“gpt-oss”两种投票方式下船员的胜率差异是否可能由随机波动造成。例如八人无直觉配置中，p = 0.0017 意味着如果两种方式胜率实际相同，观察到如此大差距的概率仅约 0.17%，因此可认为差异显著。而 15 人第六联赛的 p = 0.052 略高于常用的 0.05 阈值，属于“暗示性但未达显著”的边缘结果，作者据此谨慎地将其描述为“处于暗示性而非确定性之间”。

结论

这个实验揭示了一个反直觉的发现：在《Among Us》的会议场景中，开源权重语言模型 gpt-oss:20b 的通用推理能力并未转化为实际优势。面对一个在自己模拟器中见过数千局比赛的小型循环网络，语言模型在六种配置中全军覆没。即使把网络的判断以“直觉”形式喂给模型，最多也只是持平。这提示我们，在需要与特定环境统计特征精确对齐的任务中，通用大模型可能仍不及一个在领域内大量训练的专用小模型——而这恰恰是当前 AI 应用落地时值得警惕的认知偏差。