行为克隆
一种模仿学习方法，通过监督学习让智能体直接模仿人类演示轨迹中的动作分布，是训练GUI智能体的常用方法，但存在对分布偏移敏感的局限性
核心事实
时间轴 (近 90 天)
行为克隆直接把观测映射到动作，实现简单但存在分布偏移问题——机器人一旦偏离演示轨迹，误差会累积放大。
让引擎「像人」的常见技术路线包括监督学习人类棋谱、行为克隆以及基于人类失误分布的采样。
指令目标反映的是控制器实际接收的期望动作，与部署时策略的输出语义对齐；而实测状态混入了执行延迟、柔顺控制与传感噪声，作为标签会引入系统性偏差。
研究团队在没有机器人手臂的情况下，于多个真实任务和非结构化环境中采集了演示数据，并用行为克隆训练视觉运动策略。
使用记录的机器人指令而非状态，可使任务表现从 11% 提升到 64%。
离线模仿学习（行为克隆）中，当专家拥有特权信息时，以观测历史为输入、专家动作为标签的监督学习最优解是专家动作在隐藏状态后验分布下的条件期望，该平均值往往指向折中动作，丧失多模态性，无法学到探索行为。
DSP的核心思路是：用几分钟人类玩耍数据通过行为克隆训练一个玩耍策略，再让机器人自主运行该策略收集数小时交互数据，用于训练世界模型。
模仿学习（Imitation Learning）是一类让机器人从人类演示中直接学习策略的方法，通过行为克隆或扩散策略等方式将观测映射到动作，其核心优势是样本效率高，但分布外泛化能力弱。
FireFly 当前的训练流程以模仿学习/行为克隆为主，通过记录画面观测和玩家操作训练策略
行为克隆只能学到示范数据覆盖的状态分布，进入罕见局面时容易出现误差累积
还有 11 条时间轴事件
全部知识事实 (20)
本实验采用轨迹级蒸馏，属于行为克隆范畴，直接让学生模型模仿教师模型的外在行为序列
75%已验证智能体从有限交互中学到的错误经验一旦固化，可能导致系统性偏差并降低工作效率
75%已验证行为克隆将策略学习转化为监督学习问题，以环境状态为输入、专家动作为标签，训练从状态到动作的映射函数
75%已验证行为克隆将问题简化为监督学习，但存在分布偏移问题，导致训练时和执行时状态分布不同引发误差累积
65%待验证行为克隆直接把观测映射到动作，实现简单但存在分布偏移问题——机器人一旦偏离演示轨迹，误差会累积放大。
50%待验证让引擎「像人」的常见技术路线包括监督学习人类棋谱、行为克隆以及基于人类失误分布的采样。
50%待验证指令目标反映的是控制器实际接收的期望动作，与部署时策略的输出语义对齐；而实测状态混入了执行延迟、柔顺控制与传感噪声，作为标签会引入系统性偏差。
50%待验证使用记录的机器人指令而非状态，可使任务表现从 11% 提升到 64%。
50%待验证研究团队在没有机器人手臂的情况下，于多个真实任务和非结构化环境中采集了演示数据，并用行为克隆训练视觉运动策略。
50%待验证离线模仿学习（行为克隆）中，当专家拥有特权信息时，以观测历史为输入、专家动作为标签的监督学习最优解是专家动作在隐藏状态后验分布下的条件期望，该平均值往往指向折中动作，丧失多模态性，无法学到探索行为。
50%待验证DSP的核心思路是：用几分钟人类玩耍数据通过行为克隆训练一个玩耍策略，再让机器人自主运行该策略收集数小时交互数据，用于训练世界模型。
50%待验证模仿学习（Imitation Learning）是一类让机器人从人类演示中直接学习策略的方法，通过行为克隆或扩散策略等方式将观测映射到动作，其核心优势是样本效率高，但分布外泛化能力弱。
50%待验证行为克隆只能学到示范数据覆盖的状态分布，进入罕见局面时容易出现误差累积
50%待验证FireFly 当前的训练流程以模仿学习/行为克隆为主，通过记录画面观测和玩家操作训练策略
50%待验证常见的从行为克隆演进到强化学习的路径包括用行为克隆策略作为 RL 的初始化（warm start）后在线微调
50%待验证人类玩家完成Nuzlocke挑战产生的操作序列可作为专家示范数据，用于模仿学习/行为克隆和离线强化学习
50%待验证许多GUI智能体基于行为克隆（Behavior Cloning）训练，模型学习的是人类演示轨迹中的动作分布而非任务的本质目标
50%待验证行为克隆(Behavioral Cloning, BC)是LfD中最直接的实现方法,本质上是一个监督学习问题
50%待验证传统行为克隆通常需要数百到数千次演示才能训练出可用的策略模型
50%待验证该方法属于模仿学习中的行为克隆，其著名缺陷是复合误差问题
50%