待验证50% 置信事实精确时间

DistilBERT 的蒸馏过程使用了三重损失函数：蒸馏损失、遮蔽语言模型损失和余弦嵌入损失

1

来源数

50%

置信度

长期有效

时效性

2026/9/6

首次发现

来源

DRET：蒸馏式嵌入迁移让轻量模型逼近生物医学专家级性能

涉及实体

DistilBERTmodel

相关事实

待验证该算法的损失函数包含三个部分：Focal Loss（正负样本均衡）、相似性损失（相邻点一致性约束）和形状损失（二阶平滑约束）75% 相似待验证分散损失（Dispersion Loss）是一种专门用于对抗小语言模型中嵌入坍缩现象的技术74% 相似待验证常见的对比学习损失函数包括 NT-Xent Loss 和 Triplet Loss69% 相似待验证Diffusion-LM的训练目标包含三项损失：扩散去噪损失、嵌入匹配项和取整损失68% 相似待验证分散损失通过在标准语言建模损失之外附加正则项，鼓励嵌入向量在空间中尽可能散开67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/865895

API

curl https://kongchang.com/api/v1/knowledge/claims/865895

MCP

get_claim(id=865895)