待验证50% 置信事实精确时间

反向传播一次前向传播加一次反向传播即可得到所有参数的梯度，计算量约为前向传播的2-3倍，与参数数量无关

1

来源数

50%

置信度

长期有效

时效性

2026/8/13

首次发现

来源

5天从零手写反向传播：数学新手的深度学习实战记录

相关事实

待验证传统梯度检查点通过丢弃部分前向传播中间结果并在反向传播时重新计算来换取内存节约，代价是约 30% 的额外计算开销61% 相似待验证在反向模式下，当模型参数数量高达数百万时，计算梯度的成本仅与一次前向计算相当61% 相似待验证自动微分在保持机器精度的同时，计算开销仅为前向传播的常数倍（通常2-5倍）57% 相似待验证High模式每次调用链式推理的token消耗可能是Instant模式的10-50倍56% 相似待验证LLM每次调用可建模为伯努利试验，N次调用通过次数服从二项分布B(N, p)，通过率95%置信区间约为p̂ ± 1.96×√(p̂(1-p̂)/N)56% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/742244

API

curl https://kongchang.com/api/v1/knowledge/claims/742244

MCP

get_claim(id=742244)