ELBO
ELBO(证据下界)是变分推断的优化目标,等于期望对数似然与KL散度之差,是边际似然的下界。通过最大化ELBO可以同时促进模型拟合数据并使近似后验接近先验。
时间轴 (近 90 天)
LinSlot 构建了一个连接图像、槽位(物体)与块(属性)的概率图模型,并通过优化证据下界(ELBO)进行训练
在宽度M不断增大的贝叶斯神经网络中,ELBO中的KL散度正则项会逐渐压过期望对数似然项,导致变分预测分布退化为先验预测分布
似然温度调节将似然函数提升到1/T次方(T<1),等价于对ELBO中的KL项乘以系数T
DDPM的推导依赖变分下界(ELBO)和马尔可夫链假设,涉及KL散度、条件高斯分布等概率工具
ELBO与真实边际似然之间的差距等于近似后验与真实后验之间的KL散度 KL(q(z|x) || p(z|x))
ELBO损失函数由重建损失和KL散度两部分组成,前者确保生成质量,后者约束潜在分布的正则性
VAE训练目标是最大化证据下界(ELBO),等价于同时优化重建损失和KL散度两项
VAE只能优化似然的下界(ELBO),而GAN甚至不直接建模概率密度
全部知识事实 (8)
LinSlot 构建了一个连接图像、槽位(物体)与块(属性)的概率图模型,并通过优化证据下界(ELBO)进行训练
50%待验证在宽度M不断增大的贝叶斯神经网络中,ELBO中的KL散度正则项会逐渐压过期望对数似然项,导致变分预测分布退化为先验预测分布
50%待验证似然温度调节将似然函数提升到1/T次方(T<1),等价于对ELBO中的KL项乘以系数T
50%待验证DDPM的推导依赖变分下界(ELBO)和马尔可夫链假设,涉及KL散度、条件高斯分布等概率工具
50%待验证ELBO与真实边际似然之间的差距等于近似后验与真实后验之间的KL散度 KL(q(z|x) || p(z|x))
50%待验证ELBO损失函数由重建损失和KL散度两部分组成,前者确保生成质量,后者约束潜在分布的正则性
50%待验证VAE训练目标是最大化证据下界(ELBO),等价于同时优化重建损失和KL散度两项
50%待验证VAE只能优化似然的下界(ELBO),而GAN甚至不直接建模概率密度
50%