Unverified50% confidenceFactExact time
从信息论角度，DSL约束的本质是降低了输出分布的熵，一个等概率的N选1分布熵值为log₂N
1
Sources
50%
Confidence
Long-term
Relevance
7/17/2026
First Seen
Sources
Related Claims
Unverified香农提出的信息熵概念表明低概率事件携带更高的信息量72% similarUnverified从信息论角度看，LLM的输出熵相对较低，倾向于收敛到训练数据的高概率区域72% similarUnverified逻辑回归中的交叉熵损失如果直接对 log(0) 求值会产生负无穷，需要加入极小的 epsilon 值或使用 log-sum-exp 技巧68% similarVerified交叉熵损失起源于信息论中的KL散度，衡量真实概率分布与预测概率分布之间的差异程度67% similarUnverified信息论先驱香农指出任何信道容量都存在上限，当信源信息熵超过信道容量时信息损失不可避免66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/536280API
curl https://kongchang.com/api/v1/knowledge/claims/536280MCP
get_claim(id=536280)