Unverified50% confidenceFactExact time
梯度累积通过在多个小批次上累积梯度后再执行一次参数更新，效果等同于使用大批次训练
1
Sources
50%
Confidence
Long-term
Relevance
7/16/2026
First Seen
Sources
Related Claims
Unverified在收敛型任务上，模型达到一定规模后存在明显的性能饱和现象，参数量或训练数据的继续增加对准确率的边际贡献快速衰减75% similarUnverified批量梯度下降使用全部训练数据计算梯度，随机梯度下降每次只用一个样本，小批量梯度下降在两者之间取得平衡74% similarUnverified微调通过反向传播算法在预训练权重基础上继续更新参数，全量微调计算成本极高72% similarUnverified低精度引入的数值扰动会在RL的多轮迭代中通过策略梯度的乘积形式被放大，可能导致训练崩溃或模型性能退化70% similarUnverified将大目标拆解为多个小指令分步提交，往往比一次性描述所有细节获得更稳定的输出结果69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/530220API
curl https://kongchang.com/api/v1/knowledge/claims/530220MCP
get_claim(id=530220)