Unverified50% confidenceFactExact time
DistilBERT 的蒸馏过程使用了三重损失函数：蒸馏损失、遮蔽语言模型损失和余弦嵌入损失
1
Sources
50%
Confidence
Long-term
Relevance
9/6/2026
First Seen
Sources
Related Entities
Related Claims
Unverified该算法的损失函数包含三个部分：Focal Loss（正负样本均衡）、相似性损失（相邻点一致性约束）和形状损失（二阶平滑约束）75% similarUnverified分散损失（Dispersion Loss）是一种专门用于对抗小语言模型中嵌入坍缩现象的技术74% similarUnverified常见的对比学习损失函数包括 NT-Xent Loss 和 Triplet Loss69% similarUnverifiedDiffusion-LM的训练目标包含三项损失：扩散去噪损失、嵌入匹配项和取整损失68% similarUnverified分散损失通过在标准语言建模损失之外附加正则项，鼓励嵌入向量在空间中尽可能散开67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/865895API
curl https://kongchang.com/api/v1/knowledge/claims/865895MCP
get_claim(id=865895)