双层优化
一种将参数分为上层和下层两组，在不同目标或不同数据上交替优化的框架，广泛应用于元学习和神经架构搜索等场景
时间轴 (近 90 天)
传统牛顿类双层方法依赖经典超梯度公式，该公式在底层问题解不唯一或底层海森矩阵奇异时失效。
据B站UP主和YouTube频道分析，该工作与近期双层优化领域对非强凸底层问题的关注趋势一致，但分歧在于实际任务中正谱隙条件的满足程度。
在EDMD-kDL中，外层优化学习核字典的参数，内层优化在该字典下求解Koopman算子的有限维近似，两者交替迭代。
双层优化的一般形式为 min_θ F(θ, φ*(θ))，其中 φ*(θ) = argmin_φ G(θ, φ)，其梯度可以通过隐函数定理或迭代微分技术高效计算。
双层优化将问题拆解为外层领导者负责主干网络学习、内层跟随者负责校准器调整，两者在同一训练循环中博弈协同收敛
双层优化的难点在于内层问题的梯度传播，计算外层梯度需要用到隐函数定理或近似展开，计算代价通常较高
全部知识事实 (6)
传统牛顿类双层方法依赖经典超梯度公式，该公式在底层问题解不唯一或底层海森矩阵奇异时失效。
50%待验证据B站UP主和YouTube频道分析，该工作与近期双层优化领域对非强凸底层问题的关注趋势一致，但分歧在于实际任务中正谱隙条件的满足程度。
50%待验证在EDMD-kDL中，外层优化学习核字典的参数，内层优化在该字典下求解Koopman算子的有限维近似，两者交替迭代。
50%待验证双层优化的一般形式为 min_θ F(θ, φ*(θ))，其中 φ*(θ) = argmin_φ G(θ, φ)，其梯度可以通过隐函数定理或迭代微分技术高效计算。
50%待验证双层优化将问题拆解为外层领导者负责主干网络学习、内层跟随者负责校准器调整，两者在同一训练循环中博弈协同收敛
50%待验证双层优化的难点在于内层问题的梯度传播，计算外层梯度需要用到隐函数定理或近似展开，计算代价通常较高
50%