[控场AI]
基准POPE基准

POPE

面向视觉语言模型幻觉评测的二分类基准,通过询问图像中物体是否存在来评估模型幻觉程度,包含adversarial、popular、random三个split

时间轴 (近 90 天)

10月20日

POPE基准的Yes/No答案提取方式(token选择)本身可使VLM幻觉评测的F1分数产生数点漂移,且该变量在多数已发表工作中未被披露。

待验证50%
10月20日

在LLaVA-1.5-7B上测得的adversarial split F1为82.21,比对照的三个adversarial基线(81.00、79.30、73.54)高出1.21到8.67个点。

待验证50%
10月20日

改用覆盖空格前缀形式的八token查找表后,LLaVA-1.5-7B在adversarial、popular、random三个split上的F1分别为0.8221、0.8498和0.8713;仅读数修正一项,adversarial split就移动了6.13分。

待验证50%
10月20日

6.13分的adversarial漂移幅度超过了研究者调研的六篇论文中五篇所报告的adversarial增益。

待验证50%
10月20日

在固定基线上尝试的九种推理时修正方法,没有一种能超过基线。

待验证50%
10月20日

对于依赖POPE等基准评估幻觉的工作,评测应披露Yes/No读数所用的token集合及其来源(硬编码ID还是分词器派生),并报告推理精度。

待验证50%

全部知识事实 (6)

来源文章