待验证50% 置信事实精确时间
跨分词器蒸馏的标准做法是将教师top-K logits投影到学生token上，在分段边界处把教师token映射到对应学生token序列的第一个token，这是一种多对一映射
1
来源数
50%
置信度
长期有效
时效性
2026/7/14
首次发现
来源
相关事实
待验证非自回归机器翻译通过知识蒸馏解耦策略使用自回归教师模型生成的伪标签训练，将BLEU分数提升幅度超过10个点，同时推理保持并行解码61% 相似待验证Collapse训练借鉴CBOW完形填空思路，读取名词token前后各5个token的上下文，用余弦相似度直接与井比较预测，无需独立解码器60% 相似待验证sentence-transformers库在BERT基础上引入了孪生网络训练范式，使输出向量在余弦相似度空间中具备良好的语义对齐性60% 相似待验证主流Embedding模型（如BGE、text-embedding系列）通常基于BERT架构的编码器（Encoder-only），通过对比学习让语义相近的句子在向量空间中靠拢；而GPT类生成模型基于解码器（Decoder-only）60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/508978API
curl https://kongchang.com/api/v1/knowledge/claims/508978MCP
get_claim(id=508978)