待验证50% 置信事实精确时间

MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大

1

来源数

50%

置信度

长期有效

时效性

2026/9/7

首次发现

来源

从调库到懂ML：真正理解机器学习的分水岭在哪里

涉及实体

均方误差concept 交叉熵concept Sigmoidconcept

相关事实

待验证交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失79% 相似已验证分类任务常用交叉熵损失（Cross-Entropy Loss），回归任务常用均方误差（MSE）74% 相似待验证从信息论角度看，LLM的输出熵相对较低，倾向于收敛到训练数据的高概率区域71% 相似待验证朴素训练后量化会导致单个权重误差在多层网络中累积放大，即复合误差，在2位或1位精度下模型结构会崩溃70% 相似待验证RNN及其变体LSTM和GRU按时间步依次处理序列，存在梯度指数级衰减导致长距离依赖捕捉困难，以及无法并行化训练的缺陷69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/869797

API

curl https://kongchang.com/api/v1/knowledge/claims/869797

MCP

get_claim(id=869797)