MYOPIA基准揭示：视觉语言模型的树状推理为何失效

决策树能把视觉语言模型（VLM）的单次分类变成一连串从根到叶的可解释问答，但这条"贪心、不回溯"的推理路径要付出多大的精度代价，一直缺乏系统评估。一篇题为《MYOPIA: Understanding the Limits of Tree-Based Reasoning in Vision-Language Models》的研究给出了一个不太乐观的答案：在四个数据集、三个模型组成的全部 12 组配对实验中，树状遍历无一例外地输给了零样本提示。

研究团队推出的 MYOPIA 基准包含四棵由 LLM 生成、经人工打磨的决策树，分别对应 GTSRB、MNIST、CIFAR-10 和 MSCOCO，并配套了提示模板、诊断协议和评测工具。代码已开源于 GitHub。

树状推理为什么看起来很美

把图像分类拆解成"是圆形吗？→ 有边缘吗？→ ……"这样的层级问答，直觉上很有吸引力。每一步的判断都能被人读懂，错误也可以定位到具体节点，这对需要审计的视觉系统来说颇具诱惑力。

问题在于，这类遍历本质上是贪心的：模型在某个节点做错一次，就再也回不到正确的分支。论文把这种机制称为"不可逆的排除"——一旦局部判断出错，正确类别就被永久踢出候选集合。零样本提示不存在这个约束，它可以一次性权衡整张图像的全部证据。

这构成了树状推理的结构性风险：可解释性带来的收益，可能被单点故障的代价抵消掉。

零样本提示（Zero-shot Prompting） 指的是不向模型提供任何示例、直接把任务描述成指令让模型作答的推理方式。在视觉分类场景下，零样本提示通常是把整张图像和一句"这是什么类别？"一起送入 VLM，让模型一次性给出答案。它不依赖预先定义的树结构，也不需要多轮问答，因此整张图像的全部证据可以在同一次前向传播中被并行权衡。与之相对，决策树遍历把同一张图拆成若干次独立的子问题询问，每次只聚焦一个局部属性，模型无法"回看"此前被排除的分支。这正是论文中零样本提示能稳定胜出的根本原因之一：它天然规避了树状推理的单点故障约束，代价是牺牲逐步可解释性。

三个模型、四个数据集：零样本全面胜出

实验覆盖 GPT-4o、Qwen-VL Max 和 LLaMA-3.2 11B Vision 三个模型。在 12 组"数据集×模型"配对中，树状遍历的准确率全部低于零样本提示，配对 bootstrap 分析也一致支持零样本方案。

这不是某一类模型或某个数据集的偶然现象，而是一个跨模型、跨数据集的稳定规律。

配对 bootstrap 分析 是一种在样本量有限时评估两种方法性能差异显著性的统计手段。做法是把同一批测试样本视为配对数据，对每对样本记录两种方法的预测结果，然后通过反复有放回地重采样（bootstrap）来估计准确率差的分布与置信区间。相比直接把两组准确率相减，配对设计控制了个体样本难度带来的方差，因而对"树状遍历 vs 零样本"这种同数据同模型下的比较更为敏感。文中提到 "配对 bootstrap 分析也一致支持零样本方案"，意味着这一差距不是由某一批难样本偶然拉开的，而是在统计上稳定可复现的，增强了结论的跨模型、跨数据集可靠性。

诊断出的三类失败模式

论文没有停留在"树状推理更差"这个结论上，而是拆解了差距从何而来。

属性记忆强于图像落地。 模型对树中编码的类别属性"背"得比"看"得准。GPT-4o、Qwen-VL Max 和 LLaMA 的标签—图像准确率差距分别达到 9.5、13.8 和 12.6 个百分点。换句话说，模型知道"这个类应该有什么特征"，却无法稳定地在图像中确认这些特征是否存在。

错误决策不可逆。 局部判断一旦出错，正确类别就被排除，后续节点无论多准确都无法挽回。

答案抽取引入额外损失。 从模型输出中解析出树节点所需的答案，本身就存在模型相关的误差，进一步拉低了端到端精度。

标签—图像准确率差距 是本文诊断"属性记忆强于图像落地"的核心指标。它的算法是：先给模型只提供类别标签（如"停止标志"），让它回答树节点上的属性问题，记录准确率作为"标签条件"下的上限；再让模型仅凭真实图像回答同样的问题，记录"图像条件"下的准确率。两者的差值反映模型在多大程度上依赖训练时记住的类别先验，而不是真正从像素中读出证据。GPT-4o、Qwen-VL Max、LLaMA-3.2 的差距分别为 9.5、13.8、12.6 个百分点，说明即使模型能正确说出某类物体"应该具有"的特征，把它落到具体图像上仍会明显掉分——这正是树状推理最脆弱的环节。

什么因素影响节点准确率

研究对四棵树做了节点级审计。分裂熵与节点准确率之间存在较弱但一致的负相关：熵越高，节点判断越容易出错。

相比之下，深度、分支因子、节点内落地差异这些结构指标与准确率的关系并不稳定。这意味着简单地把树做浅、做窄，未必能解决问题；真正的瓶颈可能在于每个节点的问题是否"可感知"——模型能否仅凭图像证据回答它。

分裂熵 衡量的是某个树节点在向下分裂时，各子分支的类别分布有多"不纯"。熵越高，说明该节点下的候选类别越混杂，模型必须回答一个更模糊、更难界定的问题（例如"这个物体是方形的吗？"在同时包含路牌、数字、动物时），因此判断更容易出错。研究中观察到分裂熵与节点准确率呈较弱但一致的负相关，意味着即便整体结构性指标（深度、分支因子）不稳定，节点问题的"可分辨程度"本身仍能预测失误概率。这一发现支持论文的"感知可答性"建议：与其一味压缩树的规模，不如优先保证每个节点提出的问题能被模型仅凭图像证据稳定回答。

对树状视觉推理设计的启示

MYOPIA 的价值不止于指出缺陷，它提供了一个诊断层级视觉分类的框架。论文作者据此提出两个方向：

一是优先感知可答性，设计节点问题时先确认模型能否从图像中直接获取所需证据，而不是依赖它在训练中记住的类别先验；

二是允许从早期错误中恢复，引入回溯或并行分支机制，避免一次失误就锁死整条路径。

对于正在尝试用决策树、思维链或类似层级结构改造视觉系统的团队来说，这套基准和诊断协议值得作为上线前的压力测试。可解释性从来不是免费的，MYOPIA 用 12 组实验把这个代价量化了出来。