SAPD
一种无需环境交互的LLM智能体离线训练方法，将多轮轨迹分解为独立决策上下文，结合相对步骤优势信号进行同策略蒸馏，缓解灾难性遗忘
时间轴 (近 90 天)
研究者提出了一种名为Step-Advantage Policy Distillation（SAPD）的方法，论文标题为《SAPD: Learning from Agent Experience without Environment Interaction》。
SAPD利用离线轨迹和相对步骤优势信号，在不进行新环境观测或多轮交互的情况下，实现策略的稳定改进。
SAPD将多轮轨迹分解为独立的决策上下文，用于同策略蒸馏（on-policy distillation）。
SAPD在ALFWorld、WebShop和基于搜索的问答任务上进行了实验。
实验结果表明，SAPD在不同教师配置下均能提升性能，相比SFT有效缓解了灾难性遗忘。
SAPD每个训练步骤的运行速度至少比在线同策略蒸馏（OPD）快4.7倍。
SAPD的训练过程无需新的环境观测，也无需额外的多轮交互。
研究者表示将很快发布SAPD的代码。
全部知识事实 (8)
研究者提出了一种名为Step-Advantage Policy Distillation（SAPD）的方法，论文标题为《SAPD: Learning from Agent Experience without Environment Interaction》。
50%待验证SAPD利用离线轨迹和相对步骤优势信号，在不进行新环境观测或多轮交互的情况下，实现策略的稳定改进。
50%待验证SAPD将多轮轨迹分解为独立的决策上下文，用于同策略蒸馏（on-policy distillation）。
50%待验证SAPD在ALFWorld、WebShop和基于搜索的问答任务上进行了实验。
50%待验证实验结果表明，SAPD在不同教师配置下均能提升性能，相比SFT有效缓解了灾难性遗忘。
50%待验证SAPD每个训练步骤的运行速度至少比在线同策略蒸馏（OPD）快4.7倍。
50%待验证SAPD的训练过程无需新的环境观测，也无需额外的多轮交互。
50%待验证研究者表示将很快发布SAPD的代码。
50%