#深度学习理论

共 4 篇相关文章

arXiv 新论文研究贝叶斯神经网络的"先验坍缩"问题，揭示似然温度调节如何对抗宽度增长带来的退化。核心发现：预测期望与方差在不同尺度上发生相变，为变分贝叶斯深度学习的不确定性量化提供理论指引。

一篇arXiv理论研究深入剖析序列模型处理长程记忆的资源代价，证明了状态数的平方对数复杂度定律、分数记忆的1/L上下文规律及临界性必要条件，并通过状态空间、门控循环与注意力模型实验验证。

解读arXiv预印本对Dropout神经网络逼近性质的研究：在Sobolev空间框架下，给出带概率保证的ReLU网络逼近误差上下界，揭示保留概率、精度指数与置信水平之间的定量关系。

德国研究者Alexander Mattick在MLST访谈中深度剖析为何更多数据无法替代先验结构。涵盖推理演化史、能量模型是否过时、扩散与流匹配、深度学习理论、约束强化学习与世界模型的现实边界，系统反驳Sutton的奖励与苦涩教训论断。