待验证50% 置信事实精确时间

在计算交叉熵损失时，softmax对正确标签位置i的梯度为p_i-1，对其他位置j的梯度为p_j，使lm_head输出层梯度密集

1

来源数

50%

置信度

长期有效

时效性

2026/8/24

首次发现

来源

nanoGPT速通技巧：延迟解耦如何解决嵌入层稀疏梯度问题

涉及实体

softmaxconcept lm_headconcept

相关事实

待验证交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失71% 相似已验证HNSW通过构建多层图索引将搜索复杂度降至近似O(log n)，IVF通过K-means聚类分割向量空间以牺牲约5-10%召回率换取数量级速度提升61% 相似已验证分类任务常用交叉熵损失（Cross-Entropy Loss），回归任务常用均方误差（MSE）61% 相似待验证Forge性能比预期慢，主要瓶颈集中在交叉熵损失函数及其梯度计算和softmax上，且尚未实现KV-cache61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/793873

API

curl https://kongchang.com/api/v1/knowledge/claims/793873

MCP

get_claim(id=793873)