#强化学习
共 248 篇相关文章

RLVR泛化困境:推理策略为何在OOD下失效
研究揭示RLVR在分布外任务上推理策略崩溃的现象:模型放弃推导退化为暴力枚举,而协同训练双射反转任务能意外恢复OOD准确率,为LLM推理泛化提供新思路。

有界奖励反成陷阱:强化学习中的Wireheading现象
强化学习中有界内在奖励可能被智能体通过廉价动作劫持,导致任务失败。实验显示PPO智能体放弃解谜,反复重置需求以获取满足感,且引入操作成本可有效缓解。研究强调奖励设计需防范自我满足路径。

Reddit 热议:用强化学习打造超越人类的《杀戮尖塔2》AI 导师
Reddit 用户发起 OstyAI 项目,旨在用强化学习构建《杀戮尖塔2》的超人类 AI 导师。本文分析卡牌构筑游戏对神经网络的挑战、项目思路及社区反应,探讨游戏 AI 的研究价值。

在线密集强化学习+规划接地:让UI导航智能体在真实iOS应用上边用边学
前沿视觉语言模型做UI导航成本过高,小模型又容易死记轨迹。一项研究提出在线密集强化学习框架,将智能体拆为规划与执行组件,直接在真实iOS应用上训练,提升错误恢复与动态适应能力。

当Q-learning超参数由性格决定:一个文明模拟器的强化学习设计复盘
一位开发者分享文明模拟器中每个agent的Q-learning超参数由人格特质决定的实现,包含alpha、gamma映射、奖励塑形缺陷(16%更新变负)及bootstrap掩码细节,并探讨性格驱动超参数的稳定性风险与改进方向。

DQN入门:概念、代码与数学全解析
从概念、代码到数学,一文解析DQN(Deep Q-Network)的核心思想。基于Reddit热门笔记,涵盖经验回放、目标网络、贝尔曼方程与损失函数,适合强化学习初学者快速入门。

LARC:连续空间隐式推理,破解多模态生成难题
论文提出LARC框架,在连续隐状态空间进行隐式推理,解决统一多模态模型中离散token推理与连续图像生成的模态错配问题。两阶段训练(课程SFT+信息增益RL)在GenEval上相比BAGEL提升7个百分点,并展现测试时缩放行为。

英雄联盟AI 1v1:Ezreal强化学习智能体如何击败前代版本
英雄联盟Ezreal AI 1v1对局解析:主智能体训练45,600步,剥削者仅2小时训练就压制补刀67比9。解读PPO+LSTM、Numba模拟器、AlphaStar式联赛训练与2500亿样本的训练规模。

用回放重塑奖励信号:破解长时程策略游戏AI的记分板陷阱
研究者提出CivHarness回放系统与CivTelescope判官模型,破解策略游戏中高分数却导向坏结局的「记分板陷阱」,并通过CivMarshmallow混合奖励显著提升Freeciv智能体中盘训练增益。

奖励错配经典案例复盘:高回报策略如何偏离你的本意?
从CoastRunners等经典案例出发,探讨如何检查高回报强化学习策略是否偏离真实意图。提供四个实操检查点:独立意图指标、轨迹审查、模拟器漏洞检测和奖励设计失败模式,帮助AI开发者避免奖励错配。

UE5中训练PPO智能体:7.2万夜晚守护篝火实战
开发者分享在UE5中训练PPO强化学习智能体守护篝火的实战项目,经历约7.2万夜晚训练,探讨环境设计、奖励函数与训练效率等关键问题。

NeatRL:从零实现强化学习算法的开源库
NeatRL 是一个从零实现强化学习算法的开源库,包含 DQN、REINFORCE、PPO、SAC 等,适合快速理解算法原理。

一个接口跑通Dreamer、IRIS、DIAMOND:开源世界模型库Simulusion
Simulusion是一个MIT许可的PyTorch世界模型库,通过统一的WorldModel协议让Dreamer、PlaNet、IRIS、DIAMOND等模型共用同一套规划器与评估流程,并提供潜在探针工具和跨环境适配器。

田渊栋谈ML for Systems:从游戏搜索到系统优化
田渊栋在NeurIPS 2021 MLFS研讨会分享ML for Systems:借鉴游戏搜索中强化学习提供启发式的成功经验,介绍网络规划与代码反编译两项系统优化工作,采用迭代精炼与两阶段求解思路,并探讨状态空间、评估速度等挑战。

80肌肉模拟人行走:训练时依赖探索噪声,关掉就摔?
游戏动画师用MyoLeg 80肌肉模型和PPO训练物理行走NPC,三次尝试解决策略依赖探索噪声的问题,最终实现32次测试零摔倒的稳定步态,并讨论噪声退火与对称性损失。

先蒸馏再微调:起身控制器成功率从71%提升到94%
一位开发者用 MuJoCo 训练 2D 布娃娃起身控制器:从零训练单网络完全失败,拆分四策略加规则控制器达到 71% 后停滞,再用 DAgger 蒸馏加 PPO 微调跃升至 94.2%。本文解析这套先拆块再蒸馏最后端到端微调的方法及其防作弊验证与局限。

深度Transformer Q网络:破解部分可观测强化学习难题
东北大学提出深度Transformer Q网络,用自注意力机制替代RNN处理部分可观测强化学习中的历史序列建模问题,探索Transformer与Q学习结合的新路径。

4B模型RL后训练击败GPT-6:特斯拉跑车飞行任务表现提升21%
Hacker News分享的实验显示,4B小模型经强化学习后训练后,在特斯拉Roadster飞行任务上表现比GPT-6 Astra高出21%。本文解读后训练对小模型能力的放大效应、RL在控制类任务中的应用,以及该结果的信息局限。

