待验证50% 置信决策规则精确时间

跨分词器蒸馏前应先测量熵保留率或概率质量对齐度以避免在错误目标上浪费算力

1

来源数

50%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

跨分词器知识蒸馏：85%信息丢失的根因与链式法则解法

相关事实

待验证香农提出的信息熵概念表明低概率事件携带更高的信息量72% 相似待验证不确定性估计主要有两条技术路径：利用Token概率（logprobs）和蒙特卡洛采样（对同一输入进行5-20次高温度采样并计算香农熵）71% 相似待验证从信息论角度看，LLM的输出熵相对较低，倾向于收敛到训练数据的高概率区域70% 相似已验证交叉熵损失起源于信息论中的KL散度，衡量真实概率分布与预测概率分布之间的差异程度69% 相似待验证交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/508987

API

curl https://kongchang.com/api/v1/knowledge/claims/508987

MCP

get_claim(id=508987)