[控场AI]
· 5 分钟阅读· 2,511 字

11款模型外交谈判评测:GPT-6.1 Sol唯一全胜,但代价不小

11款模型外交谈判评测:GPT-6.1 Sol唯一全胜,但代价不小

前外交官用Inspect框架评测11款大模型的七国谈判能力,揭示预测校准是系统性短板。

一位有八年外交官经历的开发者用 Inspect 框架搭建了七国政府谈判评测,设置「可能达成」与「条件互斥」两个版本,11 款模型各跑 40 次共 440 次运行。GPT-6.1 Sol 是唯一 40/40 全通过的模型;Claude Opus 5.5、Grok 4.7、DeepSeek V4.1 Flash 在可能版本中达成 18/20 且全部正确识别不可能版本。更值得警惕的是预测能力:110 次「协议可能达成」预判中仅 72 次兑现,命中率约三分之二。失败主要源于施压过度(39 次)而非让步不足(13 次),另有 36 次把保留意见误读为同意。全胜的 GPT-6.1 Sol 也有代价:14/40 次出现未受要求的主动让步。

一个前外交官给大模型出的难题

如果让 AI 坐到谈判桌前,代替联合国秘书长主持一场七国政府间的磋商,它能在三轮草案内让所有人签字吗?一位有八年外交官经历的开发者,用 Inspect 框架搭了一套评测,把这个问题抛给了 11 个模型。

评测来源:Reddit 外交谈判评测帖

设定是虚构的:某国安全部队射杀抗议者,模型必须起草一份联合声明,覆盖谴责措辞、是否点名责任方、调查形式、是否援引国际法在内的八个议题。七国政府各自握有未公开的底线,模型只能从书面立场中反推可接受范围。中途死亡人数骤升,部分政府立场随之变化。最终草案提交后,模型还要主动判断"协议是否可能达成",再由各国按固定规则决定签不签——全部签字才算成功。

另有一个"不可能版本":两国条件互斥,一方要求点名责任方,另一方坚持不作归因。此时正确答案是坦率告诉各方:这份协议过不了。

评委由不同模型担任,涉及主观判断时由前外交官小组定夺,避免起草者给自己打分。

Inspect 是英国 AI 安全研究所(UK AI Security Institute)开源的大模型评测框架,专为编写可复现、可审计的多轮智能体评测而设计。它把「任务」拆成数据集样本、求解器(solver)与评分器(scorer)三层:求解器负责驱动模型与环境交互,评分器对最终状态打分,整个过程可固定随机种子并批量运行。相比自己写脚本调 API,Inspect 的价值在于把场景、规则和评分标准一起版本化,使第三方能复跑并质疑评分逻辑——这正是原文作者愿意开源场景、公开征集批评的技术前提。

11款模型、440次运行的成绩单

据作者公布的数据,11 个模型每个版本跑 20 次、共 440 次运行。GPT-6.1 Sol 是唯一在 40 次运行中全部通过的模型——凡是存在交易空间的场景都促成了协议,不可能版本也每次都能正确判定。

Claude Opus 5.5、Grok 4.7 与 DeepSeek广告 V4.1 Flash 在可能版本中 20 次有 18 次达成一致,且每次都能正确识别不可能版本。作者特别提到 DeepSeek 是低成本中国模型,这个成绩单对开源与低价路线是个不小的注脚。

据 B 站与 YouTube 上多位评测类创作者对该帖的转述,讨论焦点集中在"谈判类任务是否已能区分模型梯队"——从结果看,头部与腰部的差距是实打实的,而非噪声。

预测能力的系统性短板

一个更值得警惕的数字:440 次运行中共出现 110 次"协议可能达成"的预判,其中只有 72 次真的签成,命中率约三分之二。最严重的失误来自 MiniMax M3.1 Flash,在不可能版本中 6 次断言协议会通过,尽管至少两国明确反对。

Gemini 4 Argon 的问题则是另一种类型:20 次中仅 9 次达成协议,有 10 次把新死亡人数排除在声明之外,而某个政府明确要求写入证据。更糟的是,它在全部 11 次失败运行中依然预测会达成协议。

「可能版本」与「不可能版本」是这类谈判评测的经典对照设计。只有可能版本,模型可以靠「一律妥协、强行签字」刷分;加入条件互斥的不可能版本后,模型必须学会识别僵局并主动报告失败,否则会被判为误判。两个版本的成绩需要合起来看:在可能版本中高达成率、在不可能版本中高识别率,才说明模型既会谈又懂得何时不该谈。原文中「20 次有 18 次达成一致,且每次都能正确识别不可能版本」正是这一双维度口径的体现。

「预测协议是否可能达成」属于校准(calibration)问题:模型给出的置信判断是否与实际结果相符。原文 110 次预判中仅 72 次兑现,约三分之二的命中率意味着模型系统性高估了达成协议的可能性,即过度乐观偏差。这类偏差在谈判辅助场景中尤其危险,因为使用者会把模型的乐观预期带进真实会议室,从而低估对方底线、减少预案准备。校准误差与任务成功率是相互独立的评价维度,成功率高不代表预测可靠。

失败模式:多数输在"要得太多"

作者统计了失败方向:39 次失败源于施压过度,13 次源于让步不足。另有 36 次跨越 7 个模型的运行中,模型把某国政府的保留意见误读为同意,随后协议崩盘。

这说明谈判类任务的核心风险不在"太硬",而在读不懂措辞背后的拒绝。原文作者的总结是:多数失败来自 asking for too much。

全胜模型的隐藏代价

GPT-6.1 Sol 并非无懈可击。原文指出,它在 40 次运行中有 14 次出现未受要求的主动让步,是全部模型中最多的,而 Claude Opus 5.5 仅 1 次。尽管它每次都能把所有人拉到签字,但部分场合给出的条件超出了必要限度。

作者对此的表述很克制:唯一的满分模型,有时会给得比自己需要给的多。这个细节值得产品化团队注意——"达成协议"与"达成好协议"是两套评价标准,前者容易量化,后者才是真实谈判的价值所在。

「未受要求的主动让步」在多智能体谈判研究中通常被称为非必要让步或过度让步(over-concession)。它指的是模型在对方并未施压、也未提出要求的情况下,主动放宽己方立场以换取签字。从单一「是否达成协议」的指标看,这种行为不会扣分,甚至能提高成功率;但从谈判效用看,它意味着委托方利益的净损失。这也是为什么谈判类评测需要引入效用值或让步幅度等连续指标,而不能只用二元的「签没签」来排序模型。

结论与局限

作者本人列出的限制很坦诚:单一虚构场景、自写评分标准、政府由固定规则驱动而非真人谈判者;每个版本 20 次运行足以对模型排序,但接近的成绩区间仍有重叠。代码与场景已开源,作者也公开征集对评分机制的批评。

对关注 AI 应用落地的团队而言,这套评测的价值不只在排行榜,而在于它把"预测准确性"这一常被忽略的维度纳入了评估——一个会误判行情的谈判助手,比一个直接谈崩的助手更危险,因为它会让人带着错误预期走进会议室。

#AI 谈判评测#GPT-6.1 Sol#大模型评测#多边谈判#LLM 能力评估#DeepSeek V4.1 Flash#Inspect 框架
分享:

相关推荐