强化学习
强化学习是机器学习的一个重要分支，其核心思想是让智能体（Agent）通过与环境的持续交互来学习最优决策策略。智能体在每个状态下执行动作，并根据环境反馈的奖励或惩罚信号不断调整行为，以最大化长期累积奖励为目标。强化学习不依赖标注数据，适用于序列决策问题，广泛应用于游戏博弈、机器人控制、自动驾驶及资源调度等领域。
核心事实
时间轴 (近 90 天)
强化学习用于量子电路生成并非全新思路，但聚焦在多样化而非最优化上是一个有实际价值的切入点。
在强化学习中加入多样性奖励（如基于电路结构距离的惩罚项或熵正则）可鼓励探索不同结构。
强化学习（RL）相比监督微调（SFT）复杂度和成本显著更高，但上限也更高。
Noise Steering 研究提出通过强化学习联合控制偏航角与功率设定点，可在满足噪声约束的同时大幅减少发电损失。
仅用单个示例进行强化学习，模型在数学基准上的表现可以持续爬升，最终接近使用上千个示例训练的效果。
LoRA本质是一种正则化，主权重固定、更新幅度小，契合RL需要限制策略偏移的需求，同时节省GPU、提升效率。
Ψ-0.6 通过强化学习习得在不同表征之间自适应选择的调度策略，模型在训练中学会判断当前任务适合走哪条推理路径。
世界模型思想最早可追溯到强化学习领域，智能体通过世界模型进行「想象」训练以减少与真实环境的交互成本。
Patel在Meta期间主要负责AI评估和强化学习方向。
OpenAI ES 形式在强化学习与黑盒优化中流行，因为它易于并行、不依赖反向传播，且对奖励尺度有一定鲁棒性。
还有 40 条时间轴事件
全部知识事实 (20)
Machine learning is typically divided into three major paradigms: supervised learning, unsupervised learning, and reinforcement learning.
90%已验证DQN是DeepMind在2013年提出的算法，首次将深度神经网络与Q-learning强化学习相结合，使AI能学会玩49款Atari游戏
90%已验证大语言模型的预训练过程需要数千块高端GPU并行运算数月，耗资通常在数千万到数亿美元之间
90%已验证奖励函数设计不当会导致奖励欺骗（Reward Hacking）现象，即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径
85%已验证世界模型概念源自认知科学和强化学习领域，由Yann LeCun等人大力推动，指智能体对外部环境的内部表征
80%已验证强化学习通过智能体与环境的持续交互来学习最优策略，其数学基础是马尔可夫决策过程（MDP），由状态空间、动作空间、转移函数、奖励函数和折扣因子构成
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证机器学习分为监督学习、非监督学习和半监督学习三大类
80%已验证学习方法在数据充足时性能更强，但需要为域偏移下的鲁棒性付出代价
75%已验证奖励塑形是指在原始稀疏奖励之外加入额外的、更密集的引导性奖励信号，帮助智能体更快更正确地学习
75%已验证RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调
75%已验证GPU全栈范式将环境状态、动力学仿真、策略网络前向传播及梯度计算全部留在显存中完成，消除CPU与GPU的数据传输瓶颈
75%已验证稀疏奖励场景下智能体往往需要借助课程学习、奖励塑形或基于内在动机的探索等技术才能有效收敛
75%已验证在强化学习训练中，模型的目标是最大化奖励函数给出的分数
75%已验证现实任务中的奖励往往极度稀疏且延迟，导致长时间跨度的信用分配问题使智能体难以判断哪一步动作导致最终结果
75%已验证当语言模型在自身或同类模型生成的数据上反复训练时，会出现系统性退化，模型输出多样性逐代降低，分布尾部信息逐渐丢失
75%已验证AI的失准行为本质上是当前主流训练范式，特别是强化学习的直接产物
75%已验证强化学习训练是模型从通用语言能力迈向精准任务执行的关键阶段，在大规模预训练之后通过强化学习进一步优化推理、规划和指令遵循能力
75%已验证DeepMind的AlphaGo通过自我对弈数百万局来习得围棋策略
75%已验证马尔可夫决策过程（MDP）在数学上由五元组（S, A, P, R, γ）定义
75%