待验证50% 置信事实精确时间

信息论先驱香农指出任何信道容量都存在上限，当信源信息熵超过信道容量时信息损失不可避免

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

大模型为何开始「造词」：LLM语言边界的本质解析

hackernewshackernews2026/7/6

相关事实

待验证从信息论和香农定理角度看，任何超过信息熵下界的压缩都必然丢失信息，因此无论模型多大，压缩必然是有损的78% 相似待验证香农提出的信息熵概念表明低概率事件携带更高的信息量76% 相似待验证任何压缩都伴随信息损失，确定性折叠在压缩率与信息保真度之间取得平衡是最核心的技术难点69% 相似待验证信息瓶颈理论由Tishby等人于2000年提出，主张深度网络在压缩输入信息的同时应保留与任务相关的最小充分统计量68% 相似待验证瓶颈维度的选择本质上是信息压缩率与重构质量之间的权衡，对应率失真理论；Shannon于1959年证明对于给定失真容忍度存在理论最小编码率下界68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/168698

API

curl https://kongchang.com/api/v1/knowledge/claims/168698

MCP

get_claim(id=168698)