重新审视：大模型玩宝可梦的进步说明了什么

当宝可梦成为AI的试炼场

在评估大语言模型（LLM）能力的众多方式里，让AI去通关一款经典的《宝可梦》游戏，正在成为一个意外有趣的观察窗口。这个话题最近在Reddit社区引发讨论，一篇题为《"I want to be the very best"（重新审视LLM在宝可梦上的进展）》的帖子，试图从游戏表现的角度重新梳理大模型的推理与长程规划能力。

为什么是宝可梦？表面上看这是一款面向儿童的回合制角色扮演游戏，但对AI而言，它是一套极具挑战性的综合测试。通关需要模型在数十小时的连续游戏中保持目标、记忆地图、管理队伍、应对随机战斗，并在遇到卡关时自我纠错。这与常见的一次性问答基准完全不同，它考验的是长时程的连贯决策能力。

游戏基准为何比传统评测更有说服力

传统的LLM评测大多是静态的：给一道题，看一个答案。这类基准容易被"刷分"，也难以反映模型在真实、动态环境中的表现。而玩游戏这种交互式任务，把模型放进了一个需要持续行动、持续获得反馈的闭环里。

宝可梦这类游戏的特殊之处在于任务链条极长。模型不仅要理解当前屏幕上发生了什么，还要记得自己十几步之前的目标是什么、去过哪里、队伍里有哪些可用的技能。任何一次上下文丢失、任何一次对地图理解的偏差，都可能让AI在同一个区域反复打转，无法推进主线。这恰恰暴露了当前大模型在"持久记忆"和"空间推理"上的短板。

换句话说，一个能在标准数学题上表现优异的模型，未必能顺利走出第一座城镇。这种反差正是游戏基准的价值所在——它测的是能力的稳定性和连续性，而不只是单点的峰值表现。

大模型评测中常被提及的"刷分"现象，学术上称为基准污染（benchmark contamination）或数据集泄漏（dataset leakage）：由于训练语料庞大且来源广泛，模型可能已在预训练阶段见过某个测试集的题目与答案，导致测试分数虚高，无法真实反映泛化能力。静态问答类基准（如MMLU、HumanEval）尤其容易受到这一问题的影响。交互式游戏任务的优势在于，游戏状态是实时生成的——每一局的随机事件、每一步的队伍状态都不同，模型无法依赖"记忆答案"来应对。这使得游戏类基准在抗污染性上天然优于静态数据集，尽管它在可标准化和大规模自动评测方面也面临自身的工程挑战。

进步是真实的，但瓶颈依然明显

从社区的讨论来看，不同代际的模型在宝可梦上的表现确实呈现出可见的进步。更新的模型能够更好地维持长期目标、更少地陷入重复动作循环、更懂得利用游戏内的提示信息。这说明模型在长上下文处理和工具调用协同上的能力在稳步提升。

但进步并不意味着问题已经解决。帖子标题借用了动画主题曲那句"I want to be the very best"（我要成为最强）——带着一丝反讽意味。现实是，即便是较强的模型，仍然高度依赖外部的脚手架（scaffolding）：比如专门设计的记忆系统、地图状态的结构化输入、以及人为设定的子目标拆解。脱离这些辅助，模型独立完成长程任务的能力仍然有限。

这也引出一个评估上的关键问题：当AI通关一款游戏时，我们究竟是在衡量模型本身的能力，还是在衡量围绕它搭建的整套工程系统的能力？两者往往被混为一谈，而这正是解读这类"通关成绩"时需要保持清醒的地方。

这里提到的"脚手架"（scaffolding）是指围绕基础语言模型搭建的一套外部工程框架，用于弥补模型自身在记忆、状态追踪和长程规划上的先天不足。典型的脚手架组件包括：将游戏截图转化为文字描述的视觉解析模块、存储历史行动与地图信息的外部记忆数据库、将"通关游戏"分解为"找到道馆→击败道馆馆主→获得徽章"等层级子目标的任务拆解系统，以及检测AI是否陷入循环并强制干预的守护进程。这套系统的复杂程度有时不亚于模型本身。正因如此，"AI通关了宝可梦"这一表述在技术层面是高度压缩的说法——它实际上描述的是"一个以LLM为核心决策引擎、配合专门工程系统的AI代理完成了通关"。评估模型真实进步的更严格方式，是在逐步减少脚手架依赖的受控条件下进行对比测试。

如何理性看待这类成绩

对于关注AI进展的人来说，宝可梦通关这类新闻既值得关注，也需要辩证看待。

它的正面意义在于提供了一个直观、可复现、难以造假的能力展示——AI要么走到了目标地点，要么没有，过程一目了然。相比抽象的基准分数，这种"看得见"的进展更容易让公众理解模型能力的边界。

但同时也要警惕过度解读。一次成功通关背后可能是数百次失败尝试、大量的提示工程调优，甚至是针对特定游戏的定制化改造。把它简单等同于"AI已经具备通用长程规划能力"，是一种误读。真正有价值的信号，是看模型在减少人工辅助的前提下，能把多长的任务链条稳定跑完。

结语

用游戏来测AI，本质上是在寻找更贴近真实世界的评估方式。宝可梦作为一个门槛可见、目标明确、过程漫长的任务，恰好照出了当前大模型"能想"却未必"能持续做"的现状。进步真实存在，瓶颈同样清晰。与其纠结哪个模型率先通关，不如把注意力放在它们如何一步步克服记忆、规划与自我纠错这些更根本的难题上。