[控场AI]
概念Bregman Divergence / Bregman距离

Bregman散度

由数学家Lev Bregman于1967年提出的广义距离度量族,基于严格凸函数定义,涵盖欧氏距离、KL散度、Itakura-Saito散度等常见度量,与指数族分布有深刻理论联系

时间轴 (近 90 天)

10月12日

在线镜像下降(OMD)利用Bregman散度作为距离度量,对于凸Lipschitz连续损失序列,可保证累积regret上界为O(√T)或O(log T)。

待验证50%
10月7日

论文将对比学习、指数族分布和信息几何三个数学工具串联,建立了锚点上的概率分布与表示空间上Bregman几何之间的严格映射关系

待验证50%
10月7日

Bregman散度由数学家Lev Bregman于1967年提出

待验证50%
10月7日

Bregman散度在凸函数φ取平方范数时得到欧氏距离的平方,取负熵时得到KL散度,取负对数时对应Itakura-Saito散度

待验证50%
10月7日

指数族分布的对数归一化函数可充当Bregman散度定义中的凸函数φ,使锚点概率分布模型与表示空间几何度量形成一一对应

待验证50%

全部知识事实 (5)

来源文章