#泛化理论
共 6 篇相关文章
·3 分钟
Transformer泛化边界新解：长序列训练为何比多样本更高效
最新研究联合分析Transformer的分布内泛化与长度泛化，发现增加训练长度比增加样本数指数级更高效，为长序列训练策略提供理论依据。
阅读全文 →
·3 分钟
Grokking新解：秩压缩是顿悟的标志而非成因
新研究发现Grokking中权重矩阵的秩压缩发生在顿悟之后，子空间结晶从四分之一收缩到十分之一，强制低秩反而延迟或阻止顿悟，表明压缩是标志而非成因。
阅读全文 →
·5 分钟
告别参数量依赖：Dirichlet过程实现深度网络无维度PAC-Bayes泛化界
经典PAC-Bayes泛化界随参数量线性增长，在过参数化网络中失效。本文提出用Dirichlet过程将先验从参数空间转移到数据分布空间，利用数据处理不等式得到精确闭式散度，实现严格无维度泛化证书。在MNIST上从7,850到420万参数的架构中，新证书稳定在8.8%-9.4%，而经典界超过940%失效。
阅读全文 →
·5 分钟
量子分类器的深度与数据量：联合优化为何失效
最新研究复现 Q-FLAIR 自适应量子电路生长机制，在 MNIST 上测试五档训练集规模，发现电路规模与数据量之间无可预测关系，Caro 泛化边界虽有效但预测力极弱（r=0.12），电路深度与训练数据量的联合优化仍是开放问题。
阅读全文 →
·3 分钟
压缩学习的风险估计达到大数定律收敛速率
一篇统计学习理论论文证明，基于偏好压缩的学习算法风险估计可消除对数因子，达到大数定律的 O(1/√N) 最优收敛速率，并论证主导项 k/N 的必要性及其与经验风险的关系。
阅读全文 →
·5 分钟
VC学习的最优信息复杂度：用eCMI重建PAC保证
arXiv新论文证明可通过评估条件互信息（eCMI）恢复VC类的最优PAC保证，构造的随机化Majority-of-5算法实现O(d)量级信息复杂度，弥合了信息论与经典学习理论的鸿沟。
阅读全文 →