Unverified50% confidenceFactExact time
信息瓶颈理论由Tishby等人于2000年提出，主张深度网络在压缩输入信息的同时应保留与任务相关的最小充分统计量
1
Sources
50%
Confidence
Long-term
Relevance
7/17/2026
First Seen
Sources
Related Claims
UnverifiedTishby等人的信息瓶颈理论研究表明，网络训练后期会主动压缩与任务无关的信息表示78% similarUnverified瓶颈维度的选择本质上是信息压缩率与重构质量之间的权衡，对应率失真理论；Shannon于1959年证明对于给定失真容忍度存在理论最小编码率下界69% similarUnverified信息论先驱香农指出任何信道容量都存在上限，当信源信息熵超过信道容量时信息损失不可避免68% similarUnverified作者认为LLM API的速率限制才是真正的瓶颈，而不是算力67% similarUnverified任何压缩都伴随信息损失，确定性折叠在压缩率与信息保真度之间取得平衡是最核心的技术难点67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/539467API
curl https://kongchang.com/api/v1/knowledge/claims/539467MCP
get_claim(id=539467)