待验证50% 置信事实精确时间

Tishby等人的信息瓶颈理论研究表明，网络训练后期会主动压缩与任务无关的信息表示

1

来源数

50%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

拆解单个卷积神经元：机制可解释性研究新方法

相关事实

待验证信息瓶颈理论由Tishby等人于2000年提出，主张深度网络在压缩输入信息的同时应保留与任务相关的最小充分统计量78% 相似待验证跨域微调时学习率过大会破坏预训练权重，过小则几乎学不动，需权衡设置69% 相似待验证端到端模型的核心优势在于避免模块间信息损失和误差累积，但代价是可解释性低、对训练数据分布敏感、难以应对长程推理任务67% 相似待验证朴素训练后量化会导致单个权重误差在多层网络中累积放大，即复合误差，在2位或1位精度下模型结构会崩溃66% 相似待验证对于LLM推理场景，接口带宽瓶颈主要体现在初始加载速度上，而非持续推理性能66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/530590

API

curl https://kongchang.com/api/v1/knowledge/claims/530590

MCP

get_claim(id=530590)