REFACTOR-VLA：让机器人自主构建可复用技能库

从「单体模型」到「技能库」：机器人学习的范式转变

当前主流的视觉-语言-动作（Vision-Language-Action, VLA）模型——包括 OpenVLA、π0、RT-2 以及 RDT-1B——都属于所谓的「单体模型」（monolithic）。它们的工作方式非常直接：接收视觉与语言输入，然后直接生成原始的运动指令或极短的动作序列。

这种设计看似简洁高效，却隐藏着一个根本性缺陷：模型并没有把行为组织成可复用、定义清晰的抽象。换句话说，机器人每次执行任务时都在「从零开始」生成动作，而不是像人类那样调用「抓取」「倒水」「拧螺丝」这类已经掌握的技能模块。

这一缺陷带来了两个显著后果。其一，在长时序（long-horizon）任务上表现不佳——那些需要多步骤连贯操作的复杂任务，单体模型往往难以稳定完成。其二，可解释性差——研究者很难弄清模型究竟学到了什么，它的决策过程近乎黑箱。

视觉-语言-动作（VLA）模型是近年来具身智能领域的主流框架。它们通常以预训练的视觉编码器（如 CLIP 或 ViT）处理摄像头图像，以大型语言模型处理自然语言指令，最终通过动作头（action head）输出机器臂的关节角度、末端执行器位姿或速度指令等低级控制信号。RT-2 是谷歌 DeepMind 于 2023 年提出的代表性工作，将网络规模的视觉-语言预训练迁移至机器人控制；π0 则来自 Physical Intelligence，专注于通用灵巧操作；RDT-1B 和 OpenVLA 则是学术界开源的大规模 VLA 尝试。这类模型的共同特点是「感知即行动」——从原始感知到原始动作一步到位，中间缺乏显式的行为抽象层。这种端到端设计在简单、短时序任务上表现出色，但随着任务步骤增多、场景复杂度提升，其局限性便逐渐暴露。

核心难题：如何判断两个动作「行为等价」

要让机器人像搭积木一样复用技能，首先必须解决一个看似简单却极其棘手的问题：如何判断两段动作序列在行为上是等价的？

这正是现有技能发现方法普遍回避的核心。举例来说，AtomicVLA 和 AtomSkill 这类方法会尝试将动作序列进行分组归类，但它们往往绕过了「行为等价性」的本质判断，转而依赖表层的相似度或启发式规则。

为什么「行为等价」判断如此困难

问题的复杂性在于：两段在数值上完全不同的动作轨迹，可能在功能上做的是同一件事；而两段看起来相似的轨迹，却可能对应截然不同的任务意图。

• 上下文依赖：同样的手臂运动，在不同物体、不同场景下的语义可能完全不同。
• 粒度模糊：一个「技能」的边界究竟在哪里？是单个关节动作，还是一整套连贯操作？
• 无监督约束：在没有人工标注的情况下，模型必须自己「悟出」哪些行为片段值得被抽象成一个可复用单元。

如果无法可靠地判断行为等价性，所谓的「技能库」就只是一堆冗余、混乱的动作碎片，无法真正提升泛化与复用能力。

在机器人学习领域，「技能发现」（skill discovery）是一个已有数年历史的研究议题，通常与层级强化学习（Hierarchical Reinforcement Learning, HRL）紧密相关。经典方法如 Options Framework 将策略分解为高层「选项选择」与低层「选项执行」两个层级；DIAYN、VALOR 等方法则尝试通过最大化技能多样性的信息论目标来无监督地涌现技能。然而，这些方法大多在仿真环境或低维状态空间中验证，迁移到真实机器人操作任务时面临观测高维、动力学噪声大等挑战。AtomicVLA 和 AtomSkill 等较新工作尝试将技能发现与 VLA 框架结合，但正如文中指出，它们仍主要依赖动作序列的表层聚类（如基于时序距离或关键帧检测），而非对「做了同一件事」这一语义等价性进行深层建模。

REFACTOR-VLA 的核心思路：类型化运动程序

REFACTOR-VLA 的核心创新在于提出了无监督的技能库学习（Unsupervised Library Learning），并引入了「类型化运动程序」（Typed Motor Programs）这一关键概念。

所谓「类型化」，借鉴了程序设计语言中的类型系统思想。在编程中，类型帮助我们区分「整数」「字符串」「函数」，并保证它们被正确组合使用。REFACTOR-VLA 试图把类似的结构引入机器人行为学习——将运动行为归纳为带有明确类型的可复用程序模块。

类型化运动程序带来的三大优势

1. 提升长时序任务能力：当机器人拥有一个结构化的技能库，就可以像调用函数一样组合这些技能，完成多步骤复杂任务，而无需每次从原始指令层面重新学习。
2. 增强可解释性：类型化的程序模块让研究者能够清晰地看到「机器人学到了哪些技能」以及「它是如何组合这些技能的」，打破单体模型的黑箱困境。
3. 无监督学习的通用性：不依赖大量人工标注，意味着这套方法有望在更广泛、更廉价的数据上扩展，从而具备更强的可扩展性。

「REFACTOR」这一命名本身也颇有深意——它呼应了软件工程中的「重构」（refactoring），即在不改变外部行为的前提下，优化内部结构、提炼可复用组件。REFACTOR-VLA 所做的，正是对机器人的原始动作流进行「重构」，从杂乱的运动指令中提炼出结构化、可复用的技能抽象。

「类型化运动程序」的概念融合了程序合成（Program Synthesis）与运动基元（Motor Primitives）两个领域的思想。程序合成领域长期研究如何从示例中自动推导出结构化、可组合的程序；而运动基元则是机器人学中描述基本运动模式的传统方式，动态运动基元（Dynamic Movement Primitives, DMP）是其中的经典代表。将「类型系统」引入运动程序的关键意义在于：类型不仅描述一段行为「是什么」，还约束它「能与什么组合」。例如，一个类型为「抓取(物体)→持握状态」的技能，其输出状态类型必须与下一个技能的输入类型兼容，这从结构上保证了技能组合的语义合法性，而非仅靠时序拼接。这种思路与神经符号（Neuro-Symbolic）方法有所交集，试图在神经网络的感知能力与符号系统的组合泛化能力之间架设桥梁。

意义与展望：从端到端生成迈向结构化技能组合

从更宏观的视角看，REFACTOR-VLA 代表了具身智能领域一个重要的探索方向：从「端到端的原始动作生成」走向「结构化的技能抽象与组合」。

这与大语言模型领域从「逐 token 生成」到「工具调用、模块化推理」的演进有着异曲同工之处。当模型能够将知识组织成可复用的抽象单元时，其泛化能力、可解释性和处理复杂任务的能力都会随之跃升。

当然，这一方向仍面临诸多挑战：行为等价性的判断标准是否足够鲁棒？在真实物理环境的噪声与不确定性下，类型化程序能否稳定复用？无监督学习出的技能库质量如何评估与验证？这些都是后续研究需要回答的问题。

无论如何，REFACTOR-VLA 直面了此前方法刻意回避的核心难题，为机器人技能学习提供了一条更具结构化、更可解释的路径。对于希望让机器人真正胜任复杂、长期任务的研究者与从业者而言，这一思路值得持续关注。

注：本文基于该研究的公开摘要信息整理与分析，完整的实验数据与技术细节有待原论文进一步披露。