LIBERO-PeRM
首个针对具身智能体偏好学习的受控基准,基于LIBERO环境扩展偏好维度,将任务完成与偏好满足分离评测,包含312个任务及偏好满足度指标
时间轴 (近 90 天)
LIBERO-PeRM 是首个针对具身智能体偏好学习的受控基准,专门将任务完成与偏好满足分离评测。
LIBERO-PeRM 将仿真中可观察的偏好分为三类:运动偏好、技能偏好、用户画像偏好。
LIBERO-PeRM 对偏好定义有四个硬性约束:偏好必须能用语言表达、不改变任务目标、可自动评测、且能跨任务复用。
LIBERO-PeRM 围绕五个递进问题设计评测体系:零样本偏好跟随、单一偏好学习、偏好习得效率、偏好泛化、多偏好组合与冲突处理。
LIBERO-PeRM 在 LIBERO 环境基础上搭建程序化数据生成管线,最终建成五个任务套件,包含 312 个任务,配有高质量演示、丰富元数据和偏好满足度指标。
论文实验表明,当前主流 VLA 策略在零样本个性化场景下表现不佳:能完成任务,但很难仅凭指令就遵循偏好。
论文实验表明,监督微调(SFT)能让偏好变得可学习。
论文实验表明,混合训练在无偏好保持上优于顺序适配,配合上下文提示时也比纯偏好训练表现更好,但会削弱运动偏好的学习效果。
论文明确指出,偏好的泛化、分解和冲突处理仍然困难,模型学到的偏好往往绑定在特定场景,换布局或叠加偏好就容易失效。
LIBERO-PeRM 的代码、数据集和演示已在项目网站公开。
全部知识事实 (10)
LIBERO-PeRM 是首个针对具身智能体偏好学习的受控基准,专门将任务完成与偏好满足分离评测。
50%待验证LIBERO-PeRM 将仿真中可观察的偏好分为三类:运动偏好、技能偏好、用户画像偏好。
50%待验证LIBERO-PeRM 对偏好定义有四个硬性约束:偏好必须能用语言表达、不改变任务目标、可自动评测、且能跨任务复用。
50%待验证LIBERO-PeRM 围绕五个递进问题设计评测体系:零样本偏好跟随、单一偏好学习、偏好习得效率、偏好泛化、多偏好组合与冲突处理。
50%待验证LIBERO-PeRM 在 LIBERO 环境基础上搭建程序化数据生成管线,最终建成五个任务套件,包含 312 个任务,配有高质量演示、丰富元数据和偏好满足度指标。
50%待验证论文实验表明,当前主流 VLA 策略在零样本个性化场景下表现不佳:能完成任务,但很难仅凭指令就遵循偏好。
50%待验证论文实验表明,监督微调(SFT)能让偏好变得可学习。
50%待验证论文实验表明,混合训练在无偏好保持上优于顺序适配,配合上下文提示时也比纯偏好训练表现更好,但会削弱运动偏好的学习效果。
50%待验证论文明确指出,偏好的泛化、分解和冲突处理仍然困难,模型学到的偏好往往绑定在特定场景,换布局或叠加偏好就容易失效。
50%待验证LIBERO-PeRM 的代码、数据集和演示已在项目网站公开。
50%