待验证60% 置信事实精确时间

Saxe等研究者对信息瓶颈的压缩阶段提出质疑，发现压缩阶段并非普遍存在，其出现与否依赖激活函数选择（如使用ReLU则往往不出现压缩）

2

来源数

60%

置信度

长期有效

时效性

2026/7/12

首次发现

来源

深度学习理论：神经网络为何有效？理论研究全解析

hackernewshackernews2026/7/11

相关事实

待验证过度压缩prompt可能引入歧义，模型对过于反常的压缩语法未必有良好泛化72% 相似待验证过度压缩会丢失细节，压缩不足则无济于事，是滚动摘要策略的核心权衡72% 相似待验证Token压缩存在权衡：某些看似冗余的上下文信息可能对模型推理至关重要，激进压缩可能影响代码生成、复杂推理等场景的输出质量71% 相似待验证瓶颈维度的选择本质上是信息压缩率与重构质量之间的权衡，对应率失真理论；Shannon于1959年证明对于给定失真容忍度存在理论最小编码率下界71% 相似已验证任何压缩都伴随信息损失，确定性折叠在压缩率与信息保真度之间取得平衡是最核心的技术难点70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/494300

API

curl https://kongchang.com/api/v1/knowledge/claims/494300

MCP

get_claim(id=494300)