待验证50% 置信事实精确时间

一项新研究提出将RL目标推导为对模型生成目标分布的最大似然拟合，从而将预训练、SFT和RL统一到同一族目标函数。

1

来源数

50%

置信度

长期有效

时效性

2026/10/30

首次发现

来源

单一算法统一大模型训练全流程

涉及实体

统一训练concept 最大似然拟合concept 强化学习concept

相关事实

待验证目标分数恒等式将分数函数表示为当前模型预测与未归一化密度梯度之间的自洽关系，使得无需外部训练数据即可构造训练目标。75% 相似待验证在RLHF和生成模型微调中，算法设计应直接针对分布匹配目标，利用采样遗憾的对数级收敛特性构建更高效的训练流程。74% 相似待验证人在回路(HITL)的审批结果可同时作为RLHF训练数据，形成模型能力持续提升的飞轮73% 相似待验证全参数RL训练的大范围参数更新提供了隐式正则化效果，可能是鲁棒性的来源71% 相似已验证RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1115578

API

curl https://kongchang.com/api/v1/knowledge/claims/1115578

MCP

get_claim(id=1115578)