待验证60% 置信事实精确时间

交叉熵损失是分类任务中最常用的损失函数，其根源在信息论，衡量模型预测概率分布与真实分布之间的距离

2

来源数

60%

置信度

长期有效

时效性

2026/8/29

首次发现

来源

用Minimax数据训练神经网络下井字棋：数据质量实验

涉及实体

交叉熵损失concept

相关事实

待验证信息论中的熵与KL散度是理解损失函数设计和生成模型（如VAE、扩散模型）的重要基础77% 相似待验证交叉熵损失函数鼓励模型将正确类别的logit推向无穷大，导致深度网络预测过于确定75% 相似待验证将分散损失与知识蒸馏结合，用大模型的嵌入分布特性作为分散约束的参考目标，是一个潜在的研究方向72% 相似待验证交叉熵恢复率通过将SAE重建激活替代原始激活输入到模型后续层比较交叉熵损失变化来计算，衡量SAE是否保留对下游计算重要的信息71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/817186

API

curl https://kongchang.com/api/v1/knowledge/claims/817186

MCP

get_claim(id=817186)