[控场AI]
待验证50% 置信观点精确时间

CS231n的作业中，学生推导softmax交叉熵梯度时会卡住，因为它涉及Jacobian与概率归一化的耦合；实现batchnorm反向时更是考验对链式法则的精细掌控。

1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现

来源

从零手写深度学习：有人真的能不用框架实现吗？

涉及实体

CS231nconceptsoftmax交叉熵conceptbatchnormconceptJacobianconcept

相关事实

待验证长链式推理（Chain-of-Thought）训练中熵坍缩尤为突出，因为奖励信号只在推理链末端给出，中间步骤的梯度信号极为稀疏67% 相似待验证如果交叉熵稳步下降而Dice波动剧烈，问题几乎可以确定出在Dice损失的配置上65% 相似待验证该模型使用类别加权的交叉熵损失，通过为每个类别赋予与其频率成反比的权重来缓解数据不平衡64% 相似待验证交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失64% 相似待验证LLM的幻觉问题源于其训练目标是最小化交叉熵损失而非优化命题真值，是与生成机制深度耦合的固有特性而非偶发缺陷63% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/1029095
API
curl https://kongchang.com/api/v1/knowledge/claims/1029095
MCP
get_claim(id=1029095)