待验证50% 置信基准精确时间

将学生词表扩大至4096后，熵保留率不升反降，小幅滑落至13%

1

来源数

50%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

跨分词器知识蒸馏：85%信息丢失的根因与链式法则解法

相关事实

待验证在标准投影方案下，教师分布的熵从2.09 bits骤降至0.32 bits，仅约15%的教师信息得以保留69% 相似待验证将年龄字段从100个可能值泛化为5个区间，信息熵从约6.64比特降至约2.32比特，信息量损失超过60%65% 相似待验证投机解码在代码生成等低熵任务中接受率可达70-85%，在创意写作等高熵任务中可能降至40-60%60% 相似待验证有限样本估计熵率面临系统性负偏差问题，插件估计量倾向于低估真实熵，可用Miller-Madow校正通过添加(k-1)/(2N)项补偿60% 相似部分验证分布越确定其熵越低所需编码越短，分布越随机（如均匀分布）其熵越高60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/508981

API

curl https://kongchang.com/api/v1/knowledge/claims/508981

MCP

get_claim(id=508981)