[控场AI]

#训练优化

共 5 篇相关文章

AutoScaffold:用AI导师动态搭建脚手架,强化学习训练更高效
·5 分钟

AutoScaffold:用AI导师动态搭建脚手架,强化学习训练更高效

AutoScaffold 提出 AI-for-AI 框架,让冻结教师模型根据学生训练经验自动设计动态脚手架。在 ALFWorld、搜索问答、数学推理和 GPU 内核生成四个领域,无脚手架评估下均超越 RL 基线,ALFWorld 成功率提升 7.2 点。

阅读全文 →
长时程智能体RL:别盯tokens/s,盯训练器空转
·4 分钟

长时程智能体RL:别盯tokens/s,盯训练器空转

长时程智能体RL中tokens/sec不是关键指标,训练器常因straggler空转。本文解析GRPO组内等待问题,并给出按完成顺序取组、沙箱lane隔离、逐引擎发布权重等优化手段,附terminal-bench与SWE-bench实测数据。

阅读全文 →
RAFT:冗余感知输入过滤加速时序图神经网络训练
·4 分钟

RAFT:冗余感知输入过滤加速时序图神经网络训练

RAFT框架通过冗余感知输入过滤,平均减少35.23%训练输入,训练时间最多降低52.56%,精度几乎无损,为时序图神经网络训练加速提供新方案。

阅读全文 →
AI Runtime 实战:Qwen 训练时间缩短 6 倍的优化解析
·6 分钟

AI Runtime 实战:Qwen 训练时间缩短 6 倍的优化解析

AI Runtime 将 Qwen 训练时间缩短 6 倍,本文解析大模型训练提速背后的通信优化、算子融合与显存调度逻辑,以及这一优化对开发者迭代效率的实际意义。

阅读全文 →
4-bit AdamW优化器量化新思路:在预条件子空间做舍入
·4 分钟

4-bit AdamW优化器量化新思路:在预条件子空间做舍入

论文重新设计4-bit AdamW优化器状态量化,提出在预条件子空间而非状态空间做舍入。ZIP-SR保留零并做随机舍入,ZE-EDEN排除零并重缩放,在130M至2.7B模型上最大缩小70%验证损失差距。

阅读全文 →