待验证50% 置信事实精确时间
步骤级优势信号借鉴了强化学习中优势函数的思想，将动作相对于基线策略的优劣比较细化到轨迹中的每一个决策点。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
SAPD：无需环境交互，从离线轨迹高效训练LLM智能体
rss2026/10/20
涉及实体
相关事实
待验证标准智能体强化学习主要依赖终点的单一标量奖励，轨迹中间步骤的监督信号被浪费。78% 相似待验证稠密奖励为每一步或每个状态提供连续反馈，能高效引导策略学习，但也可能过度约束策略在参考轨迹附近。78% 相似待验证利用进步速度（learning progress）作为课程推进代理指标的理论依据来自内在动机（intrinsic motivation）研究：智能体在能够快速获得进步的难度区间内探索最为高效77% 相似待验证动作块价值学习的两个优势是降低决策频率以缓解长序列任务中的误差累积，以及让监督信号作用在更有语义的动作单元上。77% 相似已验证在强化学习训练中，模型的目标是最大化奖励函数给出的分数75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1079164API
curl https://kongchang.com/api/v1/knowledge/claims/1079164MCP
get_claim(id=1079164)