ASTEROID
一种用于部分可观测强化学习环境的训练框架，通过非对称在线策略蒸馏让学生模型在特权专家指导下学会测试时的探索行为。
时间轴 (近 90 天)
ASTEROID 框架由论文《Asymmetric On-Policy Distillation Learns In-Context Exploration》提出，是一种学生-教师监督学习方案，通过非对称在线策略蒸馏让历史条件化的学生模型学会测试时的探索。
ASTEROID 的训练流程分为两步：学生模型仅依赖历史观测收集在线交互轨迹；特权专家在可看到真实隐藏状态的条件下，基于学生的历史上下文提供动作标签进行蒸馏。
论文在 11 个不同环境中评估 ASTEROID，包括离散探索基准、机器人操作、导航以及 Procgen 环境。
在固定的探索预算下，ASTEROID 的回报约为基线方法的两倍。
与 RL 基线相比，ASTEROID 所需的交互次数减少了约 100 倍。
ASTEROID 在探索能力上超越了前沿模型。
在仿真训练后，ASTEROID 策略成功迁移到视觉受限的真实世界机器人操作任务，相比标准蒸馏方法成功率提升 +40%。
ASTEROID 的学生模型行为被专家标签引导至近似贝叶斯后验采样的模式：在信息不足时选择能区分不同隐藏状态的动作，在信息充分时直接利用。
论文指出 ASTEROID 与后验采样的类比可能意味着该方法继承了后验采样的理论保证（如对数遗憾界），尽管实际实现中并未显式维护信念分布。
ASTEROID 方法仍需特权专家提供动作标签，论文未详细讨论专家标注的成本问题。
还有 1 条时间轴事件
全部知识事实 (11)
ASTEROID 在真实世界中的迁移仅涉及视觉受限的机器人操作，自动驾驶、医疗决策等更广泛场景尚未验证。
50%待验证ASTEROID 的训练流程分为两步：学生模型仅依赖历史观测收集在线交互轨迹；特权专家在可看到真实隐藏状态的条件下，基于学生的历史上下文提供动作标签进行蒸馏。
50%待验证论文在 11 个不同环境中评估 ASTEROID，包括离散探索基准、机器人操作、导航以及 Procgen 环境。
50%待验证在固定的探索预算下，ASTEROID 的回报约为基线方法的两倍。
50%待验证与 RL 基线相比，ASTEROID 所需的交互次数减少了约 100 倍。
50%待验证ASTEROID 在探索能力上超越了前沿模型。
50%待验证在仿真训练后，ASTEROID 策略成功迁移到视觉受限的真实世界机器人操作任务，相比标准蒸馏方法成功率提升 +40%。
50%待验证ASTEROID 的学生模型行为被专家标签引导至近似贝叶斯后验采样的模式：在信息不足时选择能区分不同隐藏状态的动作，在信息充分时直接利用。
50%待验证ASTEROID 框架由论文《Asymmetric On-Policy Distillation Learns In-Context Exploration》提出，是一种学生-教师监督学习方案，通过非对称在线策略蒸馏让历史条件化的学生模型学会测试时的探索。
50%待验证ASTEROID 方法仍需特权专家提供动作标签，论文未详细讨论专家标注的成本问题。
50%待验证论文指出 ASTEROID 与后验采样的类比可能意味着该方法继承了后验采样的理论保证（如对数遗憾界），尽管实际实现中并未显式维护信念分布。
50%