待验证50% 置信事实精确时间

梯度累积通过在多个小批次上累积梯度后再执行一次参数更新，效果等同于使用大批次训练

1

来源数

50%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

Soofi开源基础模型训练代码全解析：从数据到权重的完整流程

相关事实

待验证在收敛型任务上，模型达到一定规模后存在明显的性能饱和现象，参数量或训练数据的继续增加对准确率的边际贡献快速衰减75% 相似待验证批量梯度下降使用全部训练数据计算梯度，随机梯度下降每次只用一个样本，小批量梯度下降在两者之间取得平衡74% 相似待验证微调通过反向传播算法在预训练权重基础上继续更新参数，全量微调计算成本极高72% 相似待验证低精度引入的数值扰动会在RL的多轮迭代中通过策略梯度的乘积形式被放大，可能导致训练崩溃或模型性能退化70% 相似待验证将大目标拆解为多个小指令分步提交，往往比一次性描述所有细节获得更稳定的输出结果69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/530220

API

curl https://kongchang.com/api/v1/knowledge/claims/530220

MCP

get_claim(id=530220)