LIBERO-PeRM:首个个性化机器人操作基准发布

LIBERO-PeRM 首次将任务完成与偏好满足分离评测,揭示当前 VLA 模型个性化能力薄弱。
LIBERO-PeRM 是首个针对具身智能体偏好学习的受控基准,将"任务完成"与"偏好满足"拆开单独评测。它提出运动偏好、技能偏好、用户画像偏好三类形式化定义,围绕零样本遵循、单偏好学习、习得效率、泛化与冲突处理五个递进问题,建成含 312 个任务的五个套件。实验表明,当前主流 VLA 策略零样本个性化表现不佳,SFT 可使偏好可学习,但混合训练会削弱运动偏好学习,偏好泛化、分解与冲突处理仍是难点。基准的价值在于把个性化从模糊概念变成可测量的研究问题,并提供现成评测工具。
通用机器人走进家庭,光会干活还不够——它得学会"按你的习惯干活"。比如同样是倒水,有人喜欢杯子放在右手边,有人习惯左手;同样是叠衣服,有人要求按颜色分类,有人要求按材质。这种对个人偏好的满足能力,正在成为机器人实用化的关键门槛。
最近发布的 LIBERO-PeRM 基准,第一次把"任务完成"和"偏好满足"这两件事拆开来单独评测。据项目方介绍,这是首个针对具身智能体偏好学习的受控基准,目标是为个性化机器人操作(PeRM)建立可量化、可复现的评测标准。

为什么需要单独的个性化基准?
过去几年,通用机器人操作的研究进展迅猛,VLA(视觉-语言-动作)模型在抓取、放置、组装等任务上不断刷新成绩。但这些评测几乎都只问一个问题:任务完成了吗?
问题在于,任务完成并不等于用户满意。一个机器人可以把盘子放进洗碗机,但如果你习惯按碗碟尺寸分区摆放,那它依然没"做对"。现有基准缺少把这两层能力分离出来的机制,导致我们无法判断:一个模型究竟是学会了偏好,还是碰巧完成了任务。
LIBERO-PeRM 的核心贡献,是提出了一套受控的偏好形式化定义和分类体系。它把仿真中可观察的偏好分成三类:运动偏好(比如从哪个方向接近物体)、技能偏好(比如抓取方式)、用户画像偏好(比如物品摆放位置)。这套定义有几个硬性约束:偏好必须能用语言表达、不改变任务目标、可自动评测、且能跨任务复用。
据项目方说明,这保证了基准测试的是"偏好学习"本身,而不是把新任务混进来充数。
VLA(Vision-Language-Action,视觉-语言-动作)模型是近年来具身智能领域的核心范式。它的基本思路是:将摄像头采集的视觉信息、自然语言指令和机器人动作序列统一到同一个模型中,让模型能够"看懂画面、听懂指令、做出动作"。典型代表包括 RT-2、OpenVLA 等。与传统的模块化流水线(先感知、再规划、后控制)不同,VLA 端到端地从原始输入直接预测动作,因而具备更强的泛化潜力。但正因为它是端到端训练的,任务成功与偏好满足之间的边界变得模糊,这也是 LIBERO-PeRM 需要单独设计评测机制的原因之一。
监督微调(SFT,Supervised Fine-Tuning)是当前让预训练模型适配下游任务最常用的方法:在特定任务的高质量演示数据上继续训练模型参数,使其输出分布向目标行为靠拢。在偏好学习场景中,SFT 的作用是让模型从演示中"看出"偏好模式并加以模仿。然而 SFT 存在一个结构性矛盾:新数据学得越深,原有能力遗忘得越多,这就是所谓的灾难性遗忘。论文中混合训练与顺序适配的对比,本质上就是在权衡"学新偏好"与"保旧能力"之间的取舍。
五个问题,五套任务
LIBERO-PeRM 围绕五个递进问题设计评测体系:
- 零样本条件下,策略能否遵循偏好指令?
- 从演示中,策略能否学会单一偏好?
- 演示数量增加时,偏好习得效率如何变化?
- 学到的偏好能否泛化到新布局和新任务?
- 多个偏好冲突时,策略能否组合并合理处理?
在 LIBERO 原有环境基础上,项目方搭建了一条程序化数据生成管线,能自动产出"带偏好"和"不带偏好"的成对演示。最终建成的五个任务套件包含 312 个任务,配有高质量演示、丰富元数据和偏好满足度指标。
LIBERO 本身是一个广泛使用的机器人操作基准平台,全称是 Lifelong Robot Learning Benchmark,提供多种桌面操作环境、标准化任务定义和演示数据格式。它的特点是任务多样性高、仿真稳定、支持持续学习研究。LIBERO-PeRM 并非另起炉灶,而是在 LIBERO 原有环境之上扩展出偏好维度,因此继承了其任务体系和仿真基础设施,同时新增了偏好定义、成对演示生成管线和偏好满足度指标。这种"在成熟平台上加层"的做法,有利于结果的可复现性和与既有工作的可比性。
实验结果:VLA 的个性化能力还很薄弱
论文给出的实验结论相当直接。当前主流 VLA 策略在零样本个性化场景下表现不佳——它们能完成任务,但很难仅凭指令就遵循偏好。
监督微调(SFT)能让偏好变得可学习,这是好消息。但后续的对比实验揭示了更细的权衡:
混合训练在"无偏好保持"上优于顺序适配,配合上下文提示时也比纯偏好训练表现更好,但它会削弱运动偏好的学习效果。换句话说,想让模型既保留原有能力又学会新偏好,目前还没有免费午餐。
至于偏好的泛化、分解和冲突处理,论文明确指出"仍然困难"。这意味着模型学到的偏好往往绑定在特定场景,换一个布局或叠加另一个偏好就容易失效。
对行业意味着什么
这个基准的价值,不在于刷出一个新分数,而在于把"个性化"从模糊的产品概念变成了可测量的研究问题。
对做家用机器人的团队来说,LIBERO-PeRM 提供了一套现成的评测工具,可以用来检验自己的模型在偏好学习上的真实水平,而不是只看任务成功率。对研究者而言,五个问题构成了清晰的路线图:从零样本遵循,到多偏好组合,每一步都有明确的失败模式和待攻克难点。
代码、数据集和演示已在项目网站公开。个性化机器人操作这个方向,终于有了第一块像样的标尺。
相关推荐

uGAP:统一100+非洲地理数据集的AI平台
uGAP是开普敦大学团队开发的非洲地理空间AI平台,统一120余个非洲数据集并提供Python SDK,支持数据发现、处理与模型训练一站式工作流,已用于气旋洪水制图等实战场景。

Cursor能控制你的电脑了:AI代理可驱动桌面应用测试
Cursor 新增桌面控制能力,AI 代理可驱动 iOS 模拟器等桌面应用测试自己构建的功能。本文分析这一更新对开发工作流的影响、技术实现可能路径及可靠性考量。

Vibecoding自研推理引擎:理想丰满,现实骨感
Reddit开发者分享Vibecoding自研推理引擎的真实经历:用WebGL2和GLSL在浏览器跑GGUF Q4模型,却陷入tokenizer调试地狱。本文分析浏览器端LLM推理的工程难点,以及为何直接clone llama.cpp是更理性的选择。