待验证50% 置信解决方案精确时间

存储教师top-K分布时以span内已生成的字节为条件进行条件化处理，可将熵保留率从15%提升至83-86%

1

来源数

50%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

跨分词器知识蒸馏：85%信息丢失的根因与链式法则解法

相关事实

待验证跨分词器蒸馏前应先测量熵保留率或概率质量对齐度以避免在错误目标上浪费算力63% 相似待验证从信息论角度看，LLM的输出熵相对较低，倾向于收敛到训练数据的高概率区域62% 相似待验证对于平稳遍历过程，熵率极限存在且等于条件熵极限 lim H(X_n|X_{n-1},...,X_1)58% 相似待验证在推理阶段内存带宽往往比纯算力更早成为瓶颈，注意力机制需在每步生成时读取全部KV缓存，上下文长度增大时内存读写开销呈平方级增长56% 相似待验证较大的批量通常需要较高的学习率（线性缩放规则）55% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/508985

API

curl https://kongchang.com/api/v1/knowledge/claims/508985

MCP

get_claim(id=508985)