语言模型能玩转维基百科游戏吗？导航能力大考

用维基百科游戏测试AI的信息检索能力

当文档集合庞大到无法逐一索引时，语言模型越来越多地被用来支持甚至自动化信息检索。但如果检索任务需要专业的语言学或科学知识，难度就会陡增。一项新研究巧妙地借用了经典的「维基百科游戏」（Wikipedia Game），把它变成一个可量化的测试平台，用来评估语言模型在类似信息检索场景下的导航能力。

维基百科游戏的规则很简单：玩家从一个起始条目出发，只能通过页面内的链接跳转，最终到达指定的目标条目。这个看似娱乐化的任务，实际上考验的是模型对概念关联的理解——它必须判断「从当前页面出发，哪个链接更接近目标」，这与真实世界中在大规模知识库里逐步逼近答案的检索逻辑高度相似。

研究如何设计这场跨语言、跨领域的对比

研究团队的实验覆盖面相当广。他们对比了句向量嵌入模型（sentence embedding models）与大语言模型（LLMs）两类技术路线，测试范围横跨五种维基百科语言版本和五个学术文献数据集。这样的设计让结论不局限于单一语言或单一领域，具备更强的普适性。

为了避免依赖第三方API带来的不确定性，团队自行构建了超大规模的本地图谱——既包括维基百科页面之间的链接网络，也包括基于 OpenAlex 数据的论文引用网络。他们还开源了构建和导航这些图谱的代码，使得其他研究者可以在不受外部接口限制的情况下复现和扩展实验。这种「自建图谱 + 开源工具」的做法，对研究的可重复性是一个明显加分项。

在基准设置上，研究引入了人类玩家和 TF-IDF（传统的词频-逆文档频率检索方法）作为对照组。人类代表了直觉型的语义导航能力，TF-IDF 则代表经典的非神经网络检索方法，两者一同为语言模型的表现划定了参考坐标。

句向量嵌入模型（sentence embedding models）的工作原理是将一段文字映射为高维空间中的一个向量，语义相近的文本在该空间中距离更近。在维基百科游戏这类导航场景中，嵌入模型会计算当前页面与目标页面的向量相似度，优先跳向与目标"最像"的邻居节点，本质上是一种贪心的语义相似度搜索。相比之下，TF-IDF（Term Frequency–Inverse Document Frequency）是一种经典的关键词权重方法：TF 衡量某个词在当前文档中出现的频率，IDF 则惩罚在所有文档中都频繁出现的泛化词（如"的""是"），两者相乘后能突出文档的特征词。TF-IDF 不理解语义，只做词汇层面的匹配，因此作为"非神经网络基线"，它的表现上限天然低于能够捕捉语义关联的嵌入模型或大语言模型，在对比实验中扮演着锚定"最低预期"的角色。

OpenAlex 是一个完全开放的学术元数据平台，收录了超过 2.5 亿篇论文及其引用关系，由非营利机构维护，可免费下载完整数据快照。研究团队基于 OpenAlex 构建引用网络，相当于把"论文 A 引用了论文 B"这一关系转化为有向图中的边，从而将维基百科的超链接导航逻辑平行复制到学术文献检索场景中，验证结论是否跨域成立。

核心结论：顶尖模型接近人类，但未能超越

实验最引人注目的发现是：没有任何模型能够显著超越人类表现。不过表现最好的几款模型——GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek^广告-R1:70B——达到了与人类相当的成功率。这说明当前第一梯队的模型在概念关联和路径规划方面已经相当成熟，能够与人类的直觉导航平分秋色。

值得关注的是，这份名单里既有闭源的 GPT 系列，也有 QwQ 和 DeepSeek-R1 这样的开源代表，意味着开源模型在这类导航任务上已经能与顶级商业模型同台竞技。

另一个重要观察是性能的不稳定性：模型的表现和排名会随着语言和主题的不同而发生明显变化。换句话说，一个模型在英文维基百科上的优异表现，不一定能原封不动地迁移到其他语言或特定学科领域。这种波动对实际应用具有直接的指导意义。

模型表现随语言和主题波动的现象，背后有几个可解释的原因。其一是训练数据分布不均：绝大多数大语言模型的预训练语料以英文为主，其他语言的覆盖度显著偏低，导致模型对非英文维基百科中概念关联的内化程度远不如英文版本。其二是领域词汇稀疏性：在高度专业化的学科（如某些小众学术领域），即便是英文语料，训练集中涉及该领域概念间关系的文本也可能相对稀少，嵌入空间中这些概念的表示质量因此下降。其三是图谱结构差异：不同语言维基百科的页面数量和链接密度差异悬殊——英文版拥有超过 650 万篇条目，而某些语言版本仅有数十万篇，稀疏的链接网络本身就会让路径规划更困难，无论是人类还是模型都会受到影响。这些因素叠加，共同造成了"换个语言或领域，排名就会重洗"的不稳定现象。

对实践者的启示

对于把语言模型用于信息检索的开发者和研究者而言，这项研究传递了几个务实的信号。

模型选择不能一刀切。既然性能随语言和主题变化，那么在部署前针对目标场景（特定语言、特定领域）进行实测验证就显得尤为必要，不能简单套用通用榜单上的排名。

维基百科游戏作为一种评测范式的价值也被凸显出来。它提供了一个能够在不同技术、不同语言和不同领域之间进行稳健对比的统一框架，相比许多封闭的基准测试，这种可视化、可解释的任务形式更容易让人理解模型在「一步步推进」过程中的决策质量。

当下的语言模型虽然还没有在这类导航任务上压倒人类，但差距已经收窄到「相当」的程度。随着模型推理能力的持续增强，这个游戏或许会在不远的将来被 AI 彻底攻克。