RADC
一种面向视觉语言模型测试时自适应的风险感知双缓存框架,通过语义前景缓存和高斯风险准入机制解决背景偏差和不可靠缓存准入问题
时间轴 (近 90 天)
RADC(Risk-Aware Dual Caching)是一个针对视觉语言模型测试时自适应的风险感知双缓存框架,由语义前景缓存和高斯风险准入两个核心组件构成。
语义前景缓存从CLIP的空间表示中聚合类别一致的空间证据,提炼出前景原型,以缓解背景信息干扰。
前景缓存作为全局缓存的互补而非替代,全局缓存保留整体上下文,前景缓存提供更纯净的目标语义。
高斯风险准入将多视角表示建模为对角高斯分布,同时考量类别可分性和特征不确定性来筛选可靠的缓存候选样本。
RADC在推理阶段融合三种预测:CLIP零样本logits、全局缓存预测和前景缓存预测。
RADC在跨域和分布外(OOD)两类基准上进行实验,取得了一致的state-of-the-art性能。
作为预印本论文,RADC的额外计算开销、对不同骨干网络的适配性以及在更极端分布偏移场景下的表现仍有待进一步验证。
从熵驱动到风险驱动的转变是RADC区别于以往缓存式TTA方法的关键。
全部知识事实 (8)
RADC(Risk-Aware Dual Caching)是一个针对视觉语言模型测试时自适应的风险感知双缓存框架,由语义前景缓存和高斯风险准入两个核心组件构成。
50%待验证语义前景缓存从CLIP的空间表示中聚合类别一致的空间证据,提炼出前景原型,以缓解背景信息干扰。
50%待验证前景缓存作为全局缓存的互补而非替代,全局缓存保留整体上下文,前景缓存提供更纯净的目标语义。
50%待验证高斯风险准入将多视角表示建模为对角高斯分布,同时考量类别可分性和特征不确定性来筛选可靠的缓存候选样本。
50%待验证RADC在推理阶段融合三种预测:CLIP零样本logits、全局缓存预测和前景缓存预测。
50%待验证RADC在跨域和分布外(OOD)两类基准上进行实验,取得了一致的state-of-the-art性能。
50%待验证作为预印本论文,RADC的额外计算开销、对不同骨干网络的适配性以及在更极端分布偏移场景下的表现仍有待进一步验证。
50%待验证从熵驱动到风险驱动的转变是RADC区别于以往缓存式TTA方法的关键。
50%