指针网络跨尺度泛化难题：从比较到选择的新解法

无人机配送路径规划是强化学习落地的重要场景，但训练好的指针网络（Pointer Network）一旦遇到规模不同的客户数量，解的质量就会明显下降。一篇最新研究系统分析了这种跨尺度泛化失败的成因，并提出“比较到选择”的策略：让多个模型在不同规模组合下各司其职，由选择器挑出最优解。

跨尺度泛化：指针网络的阿喀琉斯之踵

无人机配送的路径规划问题可以建模为带容量约束的车辆路径问题（CVRP），其中容量对应无人机的载重限制。经典混合整数规划和启发式方法在客户数量变化时，要么扩展性差，要么需要针对具体问题重新设计。强化学习提供了一条新路：训练一个策略，无需重训即可适应不同规模。

注意力机制驱动的指针网络本身与规模无关（size-agnostic），理论上可以处理任意数量的节点。但实际表现并非如此：当问题规模扩大（upscaling）或缩小（downscaling）时，解的质量都会退化。这种退化不是随机噪声，而是有结构性原因的。

指针网络（Pointer Network） 是一类基于注意力机制的序列到序列模型，最初用于解决输出序列长度依赖于输入序列长度的问题（如排序、旅行商问题）。与固定词表的传统 seq2seq 不同，指针网络通过注意力权重直接“指向”输入中的某个元素作为输出，因此其输出空间随输入规模动态变化，天然适合组合优化问题。在路径规划中，编码器将客户节点坐标编码为隐向量，解码器逐步以指针方式选择下一个访问节点，直至形成完整路径。这种结构理论上对节点数量不敏感，但训练时模型仅见过固定规模分布，导致其注意力模式和归一化统计量在规模变化时失配。

三个“罪魁祸首”：密度、注意力与图上下文

研究团队以CVRP作为受控代理，固定容量以模拟无人机载重约束，系统排查了退化来源，锁定三个因素：

• 节点密度偏移：不同规模下节点在空间中的分布密度变化，导致模型学到的空间模式失配。
• 注意力弥散：规模增大时注意力权重被摊薄，模型难以聚焦关键节点。
• 均值池化图上下文稀释：全局图表示通过均值池化聚合时，节点增多会稀释关键信息。

这三个因素分别对应架构不同层面的缺陷，因此修复方案也需要分层设计。

均值池化图上下文稀释 指的是：在编码器中，通常对所有节点的隐表示取平均（mean pooling）得到一个全局图向量，用以概括整体图结构。当节点数增多时，新增节点（尤其是冗余或边缘节点）的表示会拉低关键节点的贡献，使全局向量趋于平滑，丢失区分性信息。这种稀释效应在规模缩小时同样存在——节点减少可能使全局向量过度集中于少数节点，导致泛化偏差。因此，简单均值池化对规模变化缺乏鲁棒性，需要更智能的聚合机制。

分层改造：编码器、解码器与架构级方案

作者系统比较了三类修改：架构整体调整、编码器侧修改、解码器侧修改。其中两个方向值得关注：

基于熵的注意力缩放（entropy-based attention scaling）针对注意力弥散问题，将CVRP20到CVRP100的性能差距缩小了1.41个百分点。

针对图上下文稀释，研究提出了一种可学习的、排列不变的图上下文聚合机制，分别用加权平均和Set2Set实现。这一方案在更具挑战性的CVRP100到CVRP20迁移上取得最大改进，约0.9个百分点。

你可能没注意到，两个方向解决的并非同一个问题：注意力缩放擅长向上扩展，聚合机制擅长向下迁移。这种互补性成为后续策略的基础。

熵 在信息论中度量概率分布的不确定性。在注意力机制中，注意力权重分布越集中（熵越低），模型越能聚焦少数关键节点；分布越均匀（熵越高），则注意力越弥散。规模增大时，softmax 归一化使权重被摊薄，熵升高，模型难以区分重要节点。基于熵的注意力缩放通过引入温度系数或熵正则项，动态调整注意力分布的锐度，从而在规模变化时维持适当的聚焦程度，缓解注意力弥散问题。

从“一个模型打天下”到“选择器调度”

既然不同修改各有所长，作者没有强行融合成单一模型，而是引入一个方法选择器：为每个“训练规模—目标规模”组合挑选最合适的模型。

结果覆盖了全部九个已见训练-测试规模对，成本均低于参考模型；在九个包含未见规模（CVRP35、CVRP75、CVRP200）的组合中，有八个取得改进，最大提升达3.2%。

这一思路的启示在于：跨尺度泛化未必需要一个大一统的完美架构，承认不同机制的互补性，用轻量选择器做调度，反而能获得更稳健的收益。对无人机配送这类规模动态变化的实际场景，这种“组合拳”比追求单一模型的通用性更务实。

Set2Set 是一种排列不变的图聚合模型，通过迭代的注意力机制对集合元素进行加权求和，能够自适应地捕捉元素的重要性，而非简单平均。在本文中，Set2Set 被用作可学习的图上下文聚合器，替代均值池化，从而在节点数变化时仍能提取稳定的全局表示。排列不变性保证了对节点顺序的鲁棒性，可学习权重则缓解了稀释效应，使其在向下迁移（如 CVRP100 到 CVRP20）时表现更优。

对无人机配送落地的意义

无人机末端配送和应急投送的核心痛点之一，就是订单量从几单到上百单波动。若每次规模变化都要重新训练或调参，部署成本会急剧上升。该研究提供的路径是：在训练阶段覆盖若干典型规模，用选择器在推理时根据目标规模自动切换模型，从而在不重训的前提下保持解的质量。

当然，选择器本身依赖对规模区间的预判，面对极端规模或分布外场景时仍有局限。但作为从“比较模型”到“选择模型”的范式转变，这项工作为强化学习路径规划的跨尺度部署提供了可操作的中间路线。