[控场AI]
基准LIBERO-PeRM Benchmark / PeRM基准

LIBERO-PeRM

首个针对具身智能体偏好学习的受控基准,基于LIBERO环境扩展偏好维度,将任务完成与偏好满足分离评测,包含312个任务及偏好满足度指标

时间轴 (近 90 天)

10月16日

LIBERO-PeRM 是首个针对具身智能体偏好学习的受控基准,专门将任务完成与偏好满足分离评测。

待验证50%
10月16日

LIBERO-PeRM 将仿真中可观察的偏好分为三类:运动偏好、技能偏好、用户画像偏好。

待验证50%
10月16日

LIBERO-PeRM 对偏好定义有四个硬性约束:偏好必须能用语言表达、不改变任务目标、可自动评测、且能跨任务复用。

待验证50%
10月16日

LIBERO-PeRM 围绕五个递进问题设计评测体系:零样本偏好跟随、单一偏好学习、偏好习得效率、偏好泛化、多偏好组合与冲突处理。

待验证50%
10月16日

LIBERO-PeRM 在 LIBERO 环境基础上搭建程序化数据生成管线,最终建成五个任务套件,包含 312 个任务,配有高质量演示、丰富元数据和偏好满足度指标。

待验证50%
10月16日

论文实验表明,当前主流 VLA 策略在零样本个性化场景下表现不佳:能完成任务,但很难仅凭指令就遵循偏好。

待验证50%
10月16日

论文实验表明,监督微调(SFT)能让偏好变得可学习。

待验证50%
10月16日

论文实验表明,混合训练在无偏好保持上优于顺序适配,配合上下文提示时也比纯偏好训练表现更好,但会削弱运动偏好的学习效果。

待验证50%
10月16日

论文明确指出,偏好的泛化、分解和冲突处理仍然困难,模型学到的偏好往往绑定在特定场景,换布局或叠加偏好就容易失效。

待验证50%
10月16日

LIBERO-PeRM 的代码、数据集和演示已在项目网站公开。

待验证50%

全部知识事实 (10)

来源文章