Unverified50% confidenceFactExact time
Tishby等人的信息瓶颈理论研究表明，网络训练后期会主动压缩与任务无关的信息表示
1
Sources
50%
Confidence
Long-term
Relevance
7/16/2026
First Seen
Sources
Related Claims
Unverified信息瓶颈理论由Tishby等人于2000年提出，主张深度网络在压缩输入信息的同时应保留与任务相关的最小充分统计量78% similarUnverified跨域微调时学习率过大会破坏预训练权重，过小则几乎学不动，需权衡设置69% similarUnverified端到端模型的核心优势在于避免模块间信息损失和误差累积，但代价是可解释性低、对训练数据分布敏感、难以应对长程推理任务67% similarUnverified朴素训练后量化会导致单个权重误差在多层网络中累积放大，即复合误差，在2位或1位精度下模型结构会崩溃66% similarUnverified对于LLM推理场景，接口带宽瓶颈主要体现在初始加载速度上，而非持续推理性能66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/530590API
curl https://kongchang.com/api/v1/knowledge/claims/530590MCP
get_claim(id=530590)