概念Bregman Divergence / Bregman距离
Bregman散度
由数学家Lev Bregman于1967年提出的广义距离度量族,基于严格凸函数定义,涵盖欧氏距离、KL散度、Itakura-Saito散度等常见度量,与指数族分布有深刻理论联系
时间轴 (近 90 天)
10月12日
在线镜像下降(OMD)利用Bregman散度作为距离度量,对于凸Lipschitz连续损失序列,可保证累积regret上界为O(√T)或O(log T)。
待验证50%
10月7日
论文将对比学习、指数族分布和信息几何三个数学工具串联,建立了锚点上的概率分布与表示空间上Bregman几何之间的严格映射关系
待验证50%
10月7日
Bregman散度由数学家Lev Bregman于1967年提出
待验证50%
10月7日
Bregman散度在凸函数φ取平方范数时得到欧氏距离的平方,取负熵时得到KL散度,取负对数时对应Itakura-Saito散度
待验证50%
10月7日
指数族分布的对数归一化函数可充当Bregman散度定义中的凸函数φ,使锚点概率分布模型与表示空间几何度量形成一一对应
待验证50%
全部知识事实 (5)
待验证
在线镜像下降(OMD)利用Bregman散度作为距离度量,对于凸Lipschitz连续损失序列,可保证累积regret上界为O(√T)或O(log T)。
50%待验证论文将对比学习、指数族分布和信息几何三个数学工具串联,建立了锚点上的概率分布与表示空间上Bregman几何之间的严格映射关系
50%待验证Bregman散度由数学家Lev Bregman于1967年提出
50%待验证Bregman散度在凸函数φ取平方范数时得到欧氏距离的平方,取负熵时得到KL散度,取负对数时对应Itakura-Saito散度
50%待验证指数族分布的对数归一化函数可充当Bregman散度定义中的凸函数φ,使锚点概率分布模型与表示空间几何度量形成一一对应
50%