Unverified50% confidenceFactExact time
跨分词器蒸馏的标准做法是将教师top-K logits投影到学生token上，在分段边界处把教师token映射到对应学生token序列的第一个token，这是一种多对一映射
1
Sources
50%
Confidence
Long-term
Relevance
7/14/2026
First Seen
Sources
跨分词器知识蒸馏：85%信息丢失的根因与链式法则解法
Related Claims
Unverified非自回归机器翻译通过知识蒸馏解耦策略使用自回归教师模型生成的伪标签训练，将BLEU分数提升幅度超过10个点，同时推理保持并行解码61% similarUnverifiedCollapse训练借鉴CBOW完形填空思路，读取名词token前后各5个token的上下文，用余弦相似度直接与井比较预测，无需独立解码器60% similarUnverifiedsentence-transformers库在BERT基础上引入了孪生网络训练范式，使输出向量在余弦相似度空间中具备良好的语义对齐性60% similarUnverified主流Embedding模型（如BGE、text-embedding系列）通常基于BERT架构的编码器（Encoder-only），通过对比学习让语义相近的句子在向量空间中靠拢；而GPT类生成模型基于解码器（Decoder-only）60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/508978API
curl https://kongchang.com/api/v1/knowledge/claims/508978MCP
get_claim(id=508978)