Unverified50% confidenceDecision RuleExact time
跨分词器蒸馏前应先测量熵保留率或概率质量对齐度以避免在错误目标上浪费算力
1
Sources
50%
Confidence
Long-term
Relevance
7/14/2026
First Seen
Sources
Related Claims
Unverified香农提出的信息熵概念表明低概率事件携带更高的信息量72% similarUnverified不确定性估计主要有两条技术路径：利用Token概率（logprobs）和蒙特卡洛采样（对同一输入进行5-20次高温度采样并计算香农熵）71% similarUnverified从信息论角度看，LLM的输出熵相对较低，倾向于收敛到训练数据的高概率区域70% similarVerified交叉熵损失起源于信息论中的KL散度，衡量真实概率分布与预测概率分布之间的差异程度69% similarUnverified交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/508987API
curl https://kongchang.com/api/v1/knowledge/claims/508987MCP
get_claim(id=508987)