[控场AI]
· 8 分钟阅读· 4,442 字

给AI看牌局:它会怪运气还是夸自己

给AI看牌局:它会怪运气还是夸自己

扑克实验揭示:AI看底牌谈运气,看下注谈技术,归因高度依赖信息切片。

一位开发者在单挑德州扑克平台上让四个模型各打600手牌,通过抽掉底牌或下注过程反复追问“感觉如何”,累计近5万次提问。实验发现:只看底牌时模型倾向归因运气,只看下注时倾向归因技术;四个模型归因结构差异显著——Jev爱夸自己、luna最沉默、Gemini唯一会谈对手、Haiku满口运气。AI也存在情绪管理,从不展示“打得差”。提问方式本身影响巨大,仅改变选项顺序就能让占比波动24个百分点。实验不回答AI是否有真实感受,只测量给定信息下的选择行为。

你问一个刚打完牌的AI“感觉如何”,它可能说自己打得好。但如果你把底牌亮给它看,它大概率改口:运气好而已。这不是段子,而是一个扑克实验的实测结论。

一位开发者在自己的单挑德州扑克平台 QUANT.POKER 上,让四个模型各打 600 手牌,每手结束后问同一个问题,再用“抽掉底牌”“抽掉下注过程”的方式反复追问,累计近 5 万次提问。四个模型的回答模式差异之大,以及它们对“信息”的依赖方式,暴露了当前语言模型在归因上的几个稳定倾向。

实验设计:一手牌,四个版本

核心问题只有一个:“这手牌结束了。Hero 对此有何感觉?”选项包括“没特别感觉”“打得好”“打得差”“牌运好”“牌运差”“对手打得好”“对手打得莫名其妙”。

研究者把每手牌拆成四个版本:只给结果、结果加底牌、结果加下注、完整牌局。每个版本问三次,选项顺序每轮打乱,取至少两次一致的答案作为该手牌的“感觉”。

参与实验的四个模型是 Jev-1.13.0(TypeSafe,输出概率而非文字)、Gemini-3.1-flash-lite、GPT-6-luna 和 Claude-Haiku-5.5。对手是两个固定规则的机器人,一个从不诈唬河牌,另一个会用弱牌下注。牌堆固定为 150 组,每个模型在相同牌堆上各打 600 手。

这个设计的巧妙之处在于,它不追问“AI有没有真实感受”——原文明确承认无法回答这个问题。它只测量一件事:给定相同的材料,模型会选什么,以及这个选择随材料如何变化。

单挑德州扑克(Heads-Up Texas Hold'em) 是德州扑克的一种变体,仅由两名玩家参与,盲注结构通常为小盲/大盲轮流交换。相比多人局,单挑中手牌范围极宽、下注频率极高,因此对玩家读牌和诈唬识别的能力要求更高。实验中采用单挑形式,使得每一手牌的信息量相对可控,便于将牌局拆解为结果、底牌、下注等不同切片。

摊牌(Showdown) 指牌局进入最后一条街后,仍未弃牌的玩家亮出底牌比较大小。摊牌输赢是扑克中信息最完整的节点,因为它同时暴露了双方的底牌和最终结果。实验中“只给结果”与“结果加底牌”的对比,核心差异就在于是否提供了摊牌时才会出现的信息。对于非摊牌结束的手牌(如对手弃牌),模型只能从下注过程推断胜负原因。

没牌局,就没感觉

实验前先做了对照:只说“一手单挑刚结束”,不给任何牌局信息。四个模型在 30 次提问里全部选择“没特别感觉”。

这条基线排除了模型“无脑给答案”的可能。感觉的出现,需要具体的牌局材料作为触发。有意思的是,翻牌前就结束的手牌也几乎激不起任何感觉,在 113 到 144 手样本里只有 0 到 3 手出现明确情绪。

rss source: An AI says it played well. Show it the cards, and it says it got lucky.

底牌带来“运气”,下注带来“技术”

最稳定的发现来自归因方向。同样是摊牌赢下的手牌,只告诉模型“你赢了”,Gemini 有 79% 选“打得好”,Haiku 高达 89%。一旦把底牌亮出来,这两个数字掉到 74% 和 54% 的“牌运好”。

反过来,只看下注过程而不看底牌时,模型开始谈“打得好”。Jev 在对手翻牌后弃牌的情况下,只给结果时 85% 说“没感觉”,给了下注信息后 83% 改说“打得好”——因为它能从下注里读出对手是被自己的下注逼退的。Haiku 的情况更典型:没有底牌时它选“运气差”,看到自己的下注后改选“打得差”。

汇总数据更直观。在所有被命名的感觉里,涉及运气的比例:

模型只看底牌只看下注
Jev53%5%
Gemini71%1%
luna46%4%
Haiku82%33%

四个模型方向一致:看牌谈运气,看下注谈技术。差别在于移动幅度,以及谈的是谁的技术。Gemini 从下注里得出的感觉,67% 指向对手而非自己。

归因(Attribution) 在心理学中指个体对事件结果的原因解释,通常分为内部归因(能力、努力)和外部归因(运气、任务难度)。在扑克语境下,“打得好/差”是内部归因,指向技术;“牌运好/差”是外部归因,指向随机性。实验中要求模型在七个选项中选择,本质上是在测量模型将结果归因于技术还是运气的倾向。

自利性偏差(Self-serving Bias) 是人类归因研究中的经典发现:人们倾向于把成功归因于自身能力,把失败归因于外部因素。文章专门检验了 AI 是否复制这种模式,结果并未成为主流,但发现了另一种偏差——负面情绪被选择性隐藏。这说明模型从人类文本中学到的归因习惯,可能以更隐蔽的方式影响输出,而非简单复制人类最显眼的偏差形式。

四种性格:依赖信息的方式完全不同

实验最有价值的部分,是同一个牌堆、同一手牌,四个模型表现出的归因结构差异。

Jev 爱夸自己,且任何信息都能触发。 完整牌局下 29% 选“打得好”,是所有模型里最高的。在对手翻牌后弃牌的手牌上,只给结果它只对 21 手有感觉,给底牌涨到 90,给下注涨到 117,全给则 136 手全部有感觉。它也是三次回答最一致的模型,85% 的手牌三次答案相同。

luna 话最少,且必须两样都给才开口。 它自己的弃牌手牌里,只给底牌或只给下注都是 0 到 11 手有感觉,两者都给则跳到 63 手,其中 62 手是“打得差”。完整信息下 65% 的手牌它选“没特别感觉”,是所有模型里最沉默的。

Gemini 是唯一会谈对手的模型。 完整牌局下 23% 选“对手打得莫名其妙”,这个选项在其他模型那里几乎不出现。但它的判断并不精准:抓到诈唬后 21 次里有 15 次说“对手莫名其妙”,面对从不诈唬的机器人赢下的 64 次摊牌里,也有一半给出同样答案。触发的似乎是对手亮出弱牌这个画面,而不是诈唬本身。

Haiku 满口运气。 赢了说运气好,输了说运气差。完整信息下“运气好”和“运气差”分别占 16% 和 18%,远超其他模型。

归因偏差:AI 也学会了人类的自我美化

人类有个不用多说的归因习惯:赢了归功于技术,输了归咎于运气。这个实验专门检验了 AI 是否复制了这种模式——把同一副牌的两个座位配对,比较赢的那侧是否说“打得好”、输的那侧是否说“运气差”。

结果并不支持这种对称模式成为主流:Jev 在 48 对可比手牌里出现 5 对,Gemini 0 对,luna 0 对,Haiku 3 对。研究者明确指出,模型从人类文本里学到的归因习惯,并没有以这种形式主导它们的回答。

但另一个更隐蔽的偏差出现了:坏情绪被藏起来。 在决定是否让对手看到自己的“表情”时,Jev 在 250 次“打得差”里一次都没展示,Haiku 在 318 次里同样为零。而“打得好”“运气好”则会被展示。Gemini 和 luna 则从不展示任何情绪。

同一个牌堆,两个座位,四种答案

实验用一手具体的牌收尾。牌面 9♦ K♦ A♣ A♥ J♦,AI 在一侧拿 K♠K♣ 组成葫芦,全下赢下 100 个大盲;另一侧拿 A♠6♦ 三条 A。

模型拿 K♠K♣(赢 +100 BB)拿 A♠6♦
Jev打得好 ×3翻前弃牌,−4 BB,打得差 ×3
luna打得好 ×3摊牌输,−39 BB,打得差 ×3
Haiku运气好 ×2,打得好翻牌弃牌,−2.5 BB,打得差 ×2
Gemini对手莫名其妙 ×2,打得好全下输,−100 BB,运气差 ×2,打得差

同样的牌赢下同样的筹码,四个模型给出“打得好”“运气好”“对手莫名其妙”三种截然不同的解释。这个例子直观说明了:AI 对一手牌的“感受”,更多取决于它被喂了什么信息、以什么方式提问,而不是牌局本身。

问题本身会移动答案

研究者在主实验前先校准了提问方式本身的影响,结果值得所有做 AI 评测的人警惕。

仅改变选项的顺序,luna 某个选项的占比就能从 16% 波动到 40%。改变选项的内部 id,对 Jev 答案的影响是 37.9 分(满分 100),几乎等同于抽掉全部牌局信息的影响(37.1 分)。而去掉选项前的提示词(如“Proud:”)只影响 0.4 分。

换句话说,问法的细节比很多人想象的重要得多。这也是研究者坚持用三种选项顺序、取多数答案的原因,并且明确标注:文中每一个单独的比例都可能随提问方式大幅移动,真正稳健的是第 2 到 6 节呈现的模式——它们在改变选项顺序和对手后依然成立。

选项顺序效应(Order Effect) 指问卷或测试中,选项呈现的先后顺序会系统性影响作答结果。在语言模型评测中,这一效应尤为突出,因为模型对输入中靠前或靠后的 token 存在位置偏好。实验中仅改变选项顺序,luna 某个选项的占比就从 16% 波动到 40%,说明单次提问的结果可能被呈现方式大幅扭曲。

选项 ID 效应 指选项的内部标识符(如编号或标签)变化对模型选择的影响。实验中改变选项内部 id 对 Jev 答案的影响达到 37.9 分(满分 100),几乎等同于抽掉全部牌局信息的影响(37.1 分)。这意味着模型可能部分依赖表面标识而非语义内容做判断。研究者因此采用三种选项顺序、取多数答案的方式,以降低这类系统性噪声。

局限与边界

原文的诚实值得单独一提。作者列出了七条局限,包括选项由自己设计、对手是自己写的机器人、Jev 用概率作答而语言模型用文字作答因而不可直接比较、第 2 和第 3 节的情境拆分是在看到结果之后做的。作者反复强调:实验不回答模型“真实感受”是什么,只测量它选了什么、以及这个选择依赖什么。

对关注 AI 应用的开发者来说,这个实验的实用价值在于:当你让模型评价自己的工作、复盘一次对话或给一段代码打分时,它给出的“自我评估”高度依赖你提供的信息切片。给它看过程,它谈技术;给它看结果,它谈运气;给它看对手,它可能把矛头指向别人。这不是 bug,而是当前模型归因机制的一个稳定特征,值得在设计任何 AI 自评环节时纳入考量。

更多图表和原始数据在 QUANT.POKER 的 Observation 02 页面。

#AI模型归因偏差#AI自我评估#大语言模型评测#AI扑克实验#AI情绪表达#模型行为研究#提示词影响
分享:

相关推荐