Unverified50% confidenceFactExact time
蒸馏的核心洞察在于神经网络的软标签（类别概率分布）包含比one-hot硬标签更丰富的结构信息
1
Sources
50%
Confidence
Long-term
Relevance
7/22/2026
First Seen
Sources
Related Claims
Unverified叠加现象指神经网络倾向于用远少于特征数量的神经元同时编码大量语义特征，与传统一个神经元一个特征的直觉相悖68% similarUnverifiedSoftmax函数将神经网络logits压缩为概率分布，但其输出值在大规模模型中系统性偏离真实贝叶斯后验概率66% similarUnverifiedFID（Fréchet Inception Distance）通过比较真实数据与生成数据在深度神经网络特征空间中的统计分布差异来评估生成质量，数值越低表示越接近真实64% similarUnverified神经网络存在过度自信缺陷，即便输入落入训练分布之外，Softmax层仍可能输出虚高的置信度分数63% similarUnverified在神经网络推理中Softmax、LayerNorm等对数值范围敏感的操作极易因FP16有限的指数位引发上溢或下溢，误差在Transformer多层堆叠中累积放大62% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/592756API
curl https://kongchang.com/api/v1/knowledge/claims/592756MCP
get_claim(id=592756)