AI需要一场会反击的考试：eSlams用游戏评估模型决策

一个正确答案，不等于一连串好决策

在固定问答测试中，回答完问题，任务就结束了。但在游戏中，一次行动只是下一个问题的开始。对手会回应，新信息会改变局势，原本合理的计划可能变成负担。你不得不调整策略，把上一个决策的后果带入下一步。

这正是eSlams想要探索的问题。创始人Ramakrishnan Lokanathan正在构建一个公共竞技场，让人们可以与AI模型对弈，观看模型之间的比赛，并在底层开源引擎中调查它们的决策过程。

eSlams全称Electronic Slams——AI模型的大满贯赛事。在这里，AI下棋、打牌、谈判、协作。

为什么游戏是更真实的测试场

游戏让挑战变得具体。在四子棋中，只构建自己的威胁远远不够，忽视对手的威胁就会满盘皆输。在扑克中，即使决策合理，也可能因为看不到所有牌而输掉一手。合作类游戏则提出完全不同的问题：玩家能否协调一致，朝着共同目标前进？

关键不在于要求模型完美无缺，而在于理解它们能否持续做出好的决策，在情况变化时适应，在计划出错时恢复。

Lokanathan在文中指出，游戏的真正价值在于它是一种动态的评估场景。传统的基准测试是一张静态的答卷，模型给出答案后一切就结束了。游戏则不同，它是一个连续的决策序列，每一步都会产生新的状态和新的约束。模型不仅要答对，还要在不断变化的环境中保持判断力。

关于传统基准测试的局限性：当前主流的AI评估手段多为静态基准测试，如MMLU、GSM8K等，它们以固定题库的形式衡量模型的知识储备与推理能力。这类测试的核心缺陷在于“一次性”——模型输出答案后任务即告结束，不存在对手反制、信息更新或策略调整的环节。换言之，它衡量的是模型在封闭环境中的单步正确率，而非在开放、动态情境下的连续决策质量。真实世界的应用场景（如自动驾驶、金融交易、外交谈判）恰恰要求智能体在多轮交互中不断修正判断，因此静态分数与实际能力之间存在显著鸿沟。游戏作为评估场景的价值，正在于它天然具备多轮博弈、信息不完全和策略对抗等动态特征，能够暴露出静态测试无法捕捉的决策缺陷。

竞技场与战场：两种观看方式

eSlams提供了两种参与模式。在Arena中，你可以选择一个游戏，亲自面对AI模型。在Battlefield中，你可以观看已录制的模型对模型比赛。你不需要理解复杂的基准测试图表，就能对眼前展开的对局形成自己的判断。

底层由eSlams Core支撑，目前支持50种游戏和控制环境，涵盖棋盘游戏、纸牌、谈判、合作和控制任务。部分环境使用简化或改编规则，这些都在目录中明确标注。

不只是看输赢：可审计的决策记录

一场精彩的回放只是有用证据的起点。

想象一个模型输了。是它选择了糟糕的走法？误判了对手？还是没能返回可用的响应？问题出在模型本身，还是连接模型与游戏的软件？最终比分回答不了这些问题。

Core记录了发生的一切，让这些疑问可以被调查。游戏引擎强制执行规则，限制每个玩家能看到的信息。走法和技术故障被分开记录。如果软件在模型失败后替换了某步操作，这次干预会被记录，该轮次也会被排除在有效计分之外。

每场比赛可以保存为可移植的记录，能够被验证和重放。公开回放与私有审计信息分开保存。观众可以追踪比赛进程，开发者则可以检查结果背后的记录。这种设计让“模型为什么输了”这个问题变得可追溯，而不是停留在猜测层面。

关于可审计性与可复现性的技术意义：在AI评估中，“可审计”意味着每一次决策的输入、输出、中间状态和系统干预都被完整记录，且记录可被独立验证。eSlams Core所采用的可移植比赛记录机制，类似于软件工程中的“确定性重放”（deterministic replay）——给定相同的初始状态和操作序列，引擎能够精确复现整场比赛。公开回放与私有审计信息分离的设计，则兼顾了观众体验与开发者调试需求：观众看到的是比赛进程，开发者看到的是API调用、超时、格式错误等底层日志。这种分离确保了评估的透明度与安全性，同时使“模型为何失败”这一问题从主观猜测变为可追溯的技术调查，为AI评估领域树立了可复现性的实践标准。

游戏能做什么，不能做什么

Lokanathan在文中明确表示，游戏并非智能的完整测试，赢得一场比赛也不能证明模型已经准备好应对高风险应用。有意义的比较需要重复试验、平衡的条件和对不确定性的清晰说明。游戏补充而非替代AI在实际使用场景中的测试。

这种审慎的态度值得注意。当前AI评估领域充斥着各种排行榜和基准分数，但高分往往掩盖了模型在动态环境中的真实表现。eSlams的思路是把评估从“答对多少题”转向“做出好决策的过程是否经得起审视”。

关于AI评估中的生态效度问题：生态效度（ecological validity）是心理测量学概念，指实验结果能否推广到真实世界情境。游戏作为AI评估工具，其生态效度存在天然边界：棋牌类游戏的规则封闭、目标明确，而高风险应用（如医疗诊断、法律咨询）涉及模糊目标、伦理权衡和不可逆后果，二者存在本质差异。Lokanathan的审慎表态正是指向这一局限——赢得四子棋或扑克比赛，不能推断模型具备处理开放世界中复杂决策的能力。此外，有意义的比较还需要控制随机性、消除先手优势、进行足够多次重复试验，并对结果的不确定性给出统计说明。这些方法论要求表明，游戏评估应被视为AI能力画像中的一个维度，而非全部。

开源引擎与首届赛事

eSlams Core引擎采用MIT许可证，已在GitHub和PyPI上发布。开发者可以接入自己的智能体，运行实验并检查结果。首届AI Grand Slams定于2027年2月8日至14日举行。

Lokanathan本人将在AI Engineer New York发表演讲，主题为“当AI失败时：为高风险应用设计评估系统”，时间为10月14日。

问题不仅仅是AI能否获胜，而是在第一步和最终比分之间，究竟发生了什么。在eSlams，你可以观看，可以对弈，还可以用开源引擎去调查。