课程学习
机器学习中的一种训练策略，模仿人类教育由易到难的学习方式，先让模型训练简单任务，再逐步增加难度，以提升最终性能和训练效率
核心事实
时间轴 (近 90 天)
常见的改进手段包括课程学习（逐步增加任务难度）和域随机化（随机化物理参数以提升策略鲁棒性）。
课程学习在Agent强化学习中分阶段引入评分器：先只用最核心的单元测试通过率，待稳定后加入格式与长度约束，最后引入质量与耗时等产品级指标。
单一策略的训练通常依赖大规模并行仿真与强化学习中的课程学习，逐步增加地形难度。
课程学习在RLVR中，每一级的成功率落在20%-80%之间时信号最有效。
解决方案是分阶段训练：先训练助推器配规则塔，然后冻结助推器从零训练塔智能体，最后微调助推器与已学会的塔配合。
课程学习对稀疏奖励协作任务是必要的；辅助规则策略直接淡出不如分阶段替换稳健。
将规则塔慢慢淡出（fading）的策略失败，一旦辅助消失训练立刻崩溃。
BATE实现的是数据驱动的自适应课程学习：它根据每个原子子任务当前的掌握程度动态分配采样概率和局部探索激励。
在课程学习达到上限后增加熵系数，是一种“先利用后探索”的策略：前期低熵快速掌握基础步态，后期高熵帮助策略在已适应的扰动范围内寻找更鲁棒的解法。
作者采用了课程学习调度：初期仅使用关节位置初始化的惩罚项，随着训练迭代逐步扩大域随机化范围，并收紧奖励/惩罚阈值。
还有 19 条时间轴事件
全部知识事实 (20)
稀疏奖励场景下智能体往往需要借助课程学习、奖励塑形或基于内在动机的探索等技术才能有效收敛
75%已验证课程学习（Curriculum Learning）由Bengio等人于2009年系统化提出，核心思想是模仿人类「由易到难」的学习规律
75%已验证强化学习通过在仿真环境中海量试错学习运动技能，奖励函数包含能量效率等指标，使机器人动作趋向省力流畅，从而呈现拟人化特征
65%已验证课程学习（Curriculum Learning）由Bengio等人于2009年提出，其核心思想是从简单样本逐步过渡到复杂样本，能够加速模型收敛并提升最终性能
65%部分验证课程学习是提升训练成功率的有效手段：先从简单场景开始，逐步增加难度，避免智能体在初期因任务过难而无法获得有效奖励信号。
75%待验证常见的改进手段包括课程学习（逐步增加任务难度）和域随机化（随机化物理参数以提升策略鲁棒性）。
50%待验证课程学习在Agent强化学习中分阶段引入评分器：先只用最核心的单元测试通过率，待稳定后加入格式与长度约束，最后引入质量与耗时等产品级指标。
50%待验证单一策略的训练通常依赖大规模并行仿真与强化学习中的课程学习，逐步增加地形难度。
50%待验证课程学习在RLVR中，每一级的成功率落在20%-80%之间时信号最有效。
50%待验证将规则塔慢慢淡出（fading）的策略失败，一旦辅助消失训练立刻崩溃。
50%待验证课程学习对稀疏奖励协作任务是必要的；辅助规则策略直接淡出不如分阶段替换稳健。
50%待验证解决方案是分阶段训练：先训练助推器配规则塔，然后冻结助推器从零训练塔智能体，最后微调助推器与已学会的塔配合。
50%待验证BATE实现的是数据驱动的自适应课程学习：它根据每个原子子任务当前的掌握程度动态分配采样概率和局部探索激励。
50%待验证作者采用了课程学习调度：初期仅使用关节位置初始化的惩罚项，随着训练迭代逐步扩大域随机化范围，并收紧奖励/惩罚阈值。
50%待验证在课程学习达到上限后增加熵系数，是一种“先利用后探索”的策略：前期低熵快速掌握基础步态，后期高熵帮助策略在已适应的扰动范围内寻找更鲁棒的解法。
50%待验证R2S与以往通过课程学习、前缀回放或教师干预来缓解复合误差的方法不同，它直接修正评分信号本身，且全程无需环境奖励。
50%待验证缓解PDF环境状态稀疏性的常见手段包括：引入检索模块缩小候选范围、使用课程学习从短文档过渡到长文档、以及设计中间奖励。
50%待验证HLR-LLM采用课程学习（curriculum）策略训练，并在最终阶段引入思维链（chain-of-thought）监督，专门针对多步空间推理任务。
50%待验证能力前沿（competence frontier）指策略当前成功率既非接近 0 也非接近 1 的任务难度区间，通常对应成功率大致在 20% 到 80% 之间。
50%待验证REMORY 采用课程学习策略，早期 epoch 将 N 限制在 8 个 Token，后期逐步放宽到 64
50%