已验证75% 置信事实精确时间

RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调

3

来源数

75%

置信度

长期有效

时效性

2026/9/18

首次发现

来源

小米MiMo-V2.6直播训练：一天半烧850万，每秒约10美元

涉及实体

强化学习concept

相关事实

待验证RL训练通过策略梯度等方法将概率质量从普通输出重新分配到优质输出，并不创造全新能力79% 相似待验证现代推理模型普遍采用RLHF或其变体RLAIF进行对齐训练，模型在训练中学会何时停止推理、何时输出答案78% 相似待验证全参数RL训练的大范围参数更新提供了隐式正则化效果，可能是鲁棒性的来源77% 相似待验证主流代码大模型均采用「预训练+指令微调」的两阶段策略，第二阶段通过RLHF或DPO等对齐技术76% 相似待验证提示词与模型版本存在深度绑定关系，不同版本模型在RLHF训练数据、指令微调策略上的差异会导致相同提示词产生不同输出，这种现象被称为「提示词漂移」76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/930927

API

curl https://kongchang.com/api/v1/knowledge/claims/930927

MCP

get_claim(id=930927)