#强化学习
共 248 篇相关文章

ReShap:让深度强化学习在高维多动作场景中可解释
ReShap框架将基于Shapley的可解释性扩展到高维、多动作强化学习环境,通过策略蒸馏和特征归因提升策略透明度,实验表明决策树代理在保真度和任务回报上表现最佳。

Anthropic研究员拆解LLM训练:从调参到自我思考
Anthropic研究员Jeremy Berman深入浅出讲解大语言模型训练全流程:从神经网络调参、预训练文字接龙,到后训练塑造助手人格,再到GRPO强化学习让模型自我思考。揭秘o1与DeepSeek R1背后的技术原理。

纯PPO训练六足机器人:无关键帧,浏览器实时互动
Reddit开发者用PPO在MuJoCo中训练六足机器人,无需关键帧或动捕,在浏览器中实时运行,可投掷171公斤钢球互动。分享物理设置、奖励曲线和sim-to-browser迁移三大经验。

AutoScaffold:用AI导师动态搭建脚手架,强化学习训练更高效
AutoScaffold 提出 AI-for-AI 框架,让冻结教师模型根据学生训练经验自动设计动态脚手架。在 ALFWorld、搜索问答、数学推理和 GPU 内核生成四个领域,无脚手架评估下均超越 RL 基线,ALFWorld 成功率提升 7.2 点。

KL正则化强化学习的紧致样本复杂度:新界与下界
本文介绍KL正则化强化学习样本复杂度的最新理论进展:插件估计器达到O~(KH^3/(εmax{ε,β})+KH)样本复杂度,并证明匹配下界,将有效时域依赖从H^5改进到H^3,首次揭示温度β的影响。

SLIC:强化微调小模型攻克模拟电路多轮优化
SLIC 框架通过强化微调训练 4B 级本地可部署小模型,用于模拟电路多轮闭环优化。在 41 种放大器拓扑基准上,SLIC-Random 分布内 Pass@1 达 87.1%,超越 763B DeepSeek-V4.1-Flash Think 48.5 个百分点,并可跨五个工艺节点迁移至商用 TSMC 65 nm PDK。

PMR:为每个用户定制记忆评分标准,让AI代理更懂你
PMR框架通过个性化评分标准和token级信用分配,解决AI代理记忆更新中的用户异质性问题,实现细粒度逐步反馈,部署时零推理开销,跨四个基准实验持续优于基线。

MCPO:按需分配Token信用,让强化学习更高效
MCPO 提出按 token 犹豫程度分配强化学习信用,在 MiniCPM5 和 Qwen3 上稳定超越 GRPO,但答案长度与性能提升的混淆效应尚未分离。

因果决策的泛化:马尔可夫等价、可迁移性与反事实
新论文将结构因果bandit推广到部分已知因果结构、跨环境迁移和反事实动作三种设定,提出马尔可夫等价下的最小干预集搜索、部分可迁移性奖励边界及反事实bandit算法,为因果强化学习提供更现实的探索框架。

可验证的强化学习错位:捷径与情境安全学习
研究提出可验证的强化学习错位框架,通过奖励-情境冲突环境揭示捷径行为的习得与泛化,并展示简单的合规惩罚如何促进能力与安全共同提升,实现跨任务迁移。

MaxIM:强化学习驱动的最优信息增量摘要框架
MaxIM框架通过信息论奖励塑形和递归一致性条件,解决增量摘要中的信用分配瓶颈,在长视野科学阅读和多轮对话任务上超越RL和监督微调基线,无需人工偏好标签。

Dueling DQN 详解:状态价值与优势函数的解耦之道
本文解读 Dueling DQN 的核心概念:它是什么、为什么要用、如何实现。通过状态价值与优势函数的解耦,Dueling DQN 优化了 Q 网络的表示效率,适合强化学习入门者理解其设计动机与工程价值。

采样不等于好奇心:LLM智能体为何应学会调查
本文基于《Sampling Is Not Curiosity: Why LLM Agents Should Investigate》一文,分析LLM智能体当前随机采样与真正好奇心的区别,探讨好奇心在强化学习中的定义,并指出实现真正好奇智能体的研究方向。

LLM驱动多目标强化学习:5G UPF选择新方案
本文介绍一种基于LLM和多准则深度强化学习的5G UPF选择方案,通过动态奖励函数平衡延迟、功耗与流量分布,在真实5G仿真平台上性能提升16.89%。

真实数据训练RL做期权对冲:尾部风险降3.1%,牛市反成拖累
一项基于标普500期权真实数据的实证研究显示,用经验回放环境训练的RL对冲代理相比delta对冲将CVaR尾部损失降低3.1%,波动下跌市放大至8.9%,但上涨市反成7-10%成本。研究揭示状态依赖的净delta空头行为,并指出模拟环境与真实市场的分布差距。

RL赛车智能体撞墙后卡死?试试这几种恢复策略
RL竞速智能体撞墙卡死怎么办?本文分析恢复数据、观测限制与动作空间三种可能,对比DAgger、行为克隆和SAC方法,提供诊断实验与迭代建议。

英雄联盟S1:首个5v5强化学习对局,AI为何不推水晶?
英雄联盟S1赛季5v5强化学习实验:单个神经网络控制十个英雄在真实客户端中对战。354/354精确验证的模拟器、PPO+LSTM训练、27秒奖励视野导致AI不推水晶。

前沿实验室在买什么?Handshake AI年入近10亿美元的数据启示
解读Handshake AI一年内做到近10亿美元年度毛收入运行率的访谈:前沿实验室正从传统标注转向强化学习相关数据,需求重心、信息不对称与从业启示。

