待验证70% 置信事实精确时间

信息瓶颈理论由Tishby等人于1999年提出，并于2017年发展为深度学习的信息论解释框架，主张神经网络训练分为快速拟合和缓慢压缩两个阶段

2

来源数

70%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

拆解单个卷积神经元：机制可解释性研究新方法

相关事实

待验证2017年Shwartz-Ziv和Tishby的工作表明深度网络训练存在两个阶段：先拟合数据（增加与输入的互信息），再压缩表征（减少与输入互信息同时保持与输出互信息）77% 相似待验证Shwartz-Ziv和Tishby提出的信息瓶颈假说试图从信息压缩的角度解释深度学习为什么有效76% 相似待验证深度学习中突破性的模型架构与训练技巧多为实践先行、理论解释滞后数年71% 相似待验证神经网络在层数叠高后会遇到梯度消散问题导致训练难以收敛，直到2010年前后一系列技术突破解决了深层网络训练难题，才有了深度神经网络（DNN）的称谓70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/533286

API

curl https://kongchang.com/api/v1/knowledge/claims/533286

MCP

get_claim(id=533286)