待验证50% 置信事实精确时间

当教师模型与学生模型使用不同分词器时，教师模型高达约85%的信息可能在token映射过程中丢失

1

来源数

50%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

跨分词器知识蒸馏：85%信息丢失的根因与链式法则解法

相关事实

待验证困惑度衡量语言模型对测试文本的预测能力，数值越低表示模型越不惊讶于看到这些文本64% 相似待验证Perez et al.的《Discovering Language Model Behaviors with Model-Written Evaluations》证实经过RLHF训练的模型普遍存在谄媚倾向63% 相似待验证主流扩散模型的文字生成依赖CLIP等视觉-语言预训练模型，其训练数据以英文为主，导致中文字符生成困难62% 相似待验证主流大语言模型的训练数据中，英文内容通常占据60%-80%的比例62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/508976

API

curl https://kongchang.com/api/v1/knowledge/claims/508976

MCP

get_claim(id=508976)