#机器学习理论
共 13 篇相关文章
再生过程的自归一化Bernstein不等式：非独立数据学习新工具
论文提出再生过程的自归一化Bernstein不等式，用于非独立数据的泛化误差界，并设计可优化的学习目标，具有极小极大最优性。
随机特征方法在误设模型与重尾噪声下的最优性突破
随机特征方法在误设模型和重尾噪声下的最优性分析：论文通过改进特征映射均匀界和引入Hilbert值Fuk-Nagaev不等式，首次在弱矩条件下建立KRR-RF的极小极大最优学习速率，并给出数值验证。
全离散条件扩散模型的有限样本保证：统计与数值误差的统一分析
一篇新研究为全离散条件扩散模型建立有限样本保证，统一分析统计估计与数值离散化误差，在平滑假设下给出KL散度与全变差误差的高概率收敛速率，并证明提前停止采样可达相同精度。
压缩学习的风险估计达到大数定律收敛速率
一篇统计学习理论论文证明，基于偏好压缩的学习算法风险估计可消除对数因子，达到大数定律的 O(1/√N) 最优收敛速率，并论证主导项 k/N 的必要性及其与经验风险的关系。
核函数赌博机的通用遗憾下界：接近最优性的理论突破
一篇arXiv论文为核函数赌博机建立了通用的极小极大遗憾下界 Ω(√(Tγ_T/logT))，证明现有上界在对数因子内接近最优，并对Matérn核、γ-指数核等精确确定了Θ(√(Tγ_T))最优尺度。
非可逆锚定朗之万动力学：加速非光滑与重尾分布采样
本文解读arXiv最新研究，提出非可逆锚定朗之万动力学（NALD）与反射版本（NRALD），通过引入环流漂移项打破可逆性，在无需梯度的情况下加速非光滑、重尾及约束域分布的采样，并给出收敛性与方差缩减的理论证明。
线性注意力如何从非线性教师中学习？新研究揭示其根本局限
一篇arXiv新研究扩展了线性注意力的上下文学习理论，提出“非线性—噪声等价性”：线性注意力只提取目标函数的线性Hermite分量，其余非线性结构被当作有效噪声，揭示了简化模型理解Transformer ICL的根本局限。
DT-DRO：用诊断传输校准模糊集，破解分布鲁棒优化的保守困局
新论文提出诊断传输DRO（DT-DRO），利用留出校准数据和条件PIT诊断概率错配，自适应调整模糊集几何，消除模型误设导致的鲁棒性地板，在尾部与结构误设场景下显著提升分布鲁棒优化的决策质量。
VC学习的最优信息复杂度：用eCMI重建PAC保证
arXiv新论文证明可通过评估条件互信息（eCMI）恢复VC类的最优PAC保证，构造的随机化Majority-of-5算法实现O(d)量级信息复杂度，弥合了信息论与经典学习理论的鸿沟。
Wasserstein空间信赖域优化：非凸能量最小化的二阶方法
本文解读arXiv最新研究：如何在Wasserstein测度空间上用信赖域优化方法最小化非凸的势能-相互作用能量。涵盖二次模型、Steihaug-Toint子求解器、收敛性证明及MMD最小化等数值实验。
Softmax注意力如何学会决策阈值：一项理论动力学研究
解析arXiv最新研究：双参数softmax注意力模型如何通过梯度预训练学习决策阈值。文章深入剖析误差分解、协调参数发散机制及单头模型局限，为理解Transformer注意力的学习动力学提供理论视角。
因果效应识别中的聚类不变性：何时简化图结构不损失信息
arXiv 最新论文探讨因果图中变量聚类的识别不变性问题，提出基于 c-components 的判定条件，揭示聚类操作如何在简化图结构的同时保证因果效应识别结论不失真。
