[控场AI]
待验证50% 置信事实精确时间

Max变体采用组相对策略优化（GRPO）训练目标，用于缓解传统RLHF中常见的奖励不稳定问题。

1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现

来源

DeepSeek V4.1 Flash 1017技术拆解：MoE架构如何突破吞吐瓶颈
rss2026/10/19

涉及实体

DeepSeek V4.1 Flash 1017 MaxproductGRPOconcept

相关事实

待验证与标准 GRPO 训练相比，ReTerm-GRPO 在多种不同错误类别上都取得了更稳定、更高的恢复率。73% 相似已验证传统RLHF需要先训练奖励模型，再用PPO等强化学习算法优化，流程复杂且不稳定73% 相似已验证GRPO相比PPO省去了价值网络（Critic），直接在组内样本间比较奖励来估计优势函数，显著降低训练计算成本73% 相似已验证GRPO 对同一问题采样多个响应并在组内计算相对奖励来估计基线，省去了单独训练价值网络的开销73% 相似待验证Steering Agent的训练采用强化学习联合优化，目标函数结合了成对排序目标和组相对策略优化（GRPO）。71% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/1067171
API
curl https://kongchang.com/api/v1/knowledge/claims/1067171
MCP
get_claim(id=1067171)