#优化算法

共 10 篇相关文章

新研究通过利用线性结构加速贝叶斯优化，在保持与最先进方法相当性能的同时，速度提升高达1000倍，填补了速度-性能帕累托前沿的空白，为中等成本问题打开新应用。

研究提出Pair-Aware优化框架，系统比较一阶与零阶越狱攻击方法的组合效果，发现混合优化策略显著提升LLM智能体攻击成功率，优化顺序影响显著，并引入随机解码评估视角。

本文介绍超越底层强凸性的牛顿法双层优化新方法：牛顿GALET与牛顿BAMM，并引入统一框架GNBO，在奇异曲率和仅凸底层问题下提供收敛保证与改进复杂度，实验涵盖数据超清洗与GPT-2数据重加权。

噪声玻色量子系统中态制备面临保真度分布不均问题。该研究引入风险敏感优化中的风险追求目标函数，牺牲平均保真度换取部分纯态不保真度降低达四个数量级，并实现高保真概率与阈值间的可控权衡。

新论文提出诊断传输DRO（DT-DRO），利用留出校准数据和条件PIT诊断概率错配，自适应调整模糊集几何，消除模型误设导致的鲁棒性地板，在尾部与结构误设场景下显著提升分布鲁棒优化的决策质量。

arXiv新论文提出L0 Manifold Optimization（L0MO），一种在稀疏RKHS流形上进行函数贝叶斯优化（FBO）的新方法，同时优化核函数位置与系数，并构建新基准验证其优越性能。

新研究量化了自然梯度下降（NGD）的低效程度，通过低效比率 R 揭示三种机制：二次势函数族 R=1 精确最优、偏度有界族维度无关有界、尺度族乘积则呈 Θ(√log d) 无界增长，并转化为实际计算成本。

Router Rumble 是一个开源 Python 项目，通过在模拟房间摆放 WiFi 路由器，直观对比梯度下降与 NSGA-II 进化算法在离散目标函数上的表现，揭示无梯度优化方法的优势。

一篇arXiv新研究用尺度不变的几何度量，系统分析了Adam优化器与自然梯度下降（NGD）的距离。结果显示Adam在病态和非凸场景下偏差可达10^3量级，但最终收敛不受影响，其威力源于近似误差与动量平滑的平衡。

NeurIPS 接收论文《Functional Gradient Descent with Adaptive Representations》提出自适应表示机制，解决泛函梯度下降中无限维梯度难以正确近似的核心难题，可证明收敛到全局最优，并在多个场景以数量级优势超越神经网络。