[控场AI]
基准Multi-Axis Parametric Knowledge Extraction Evaluation / 多轴参数化知识提取评估框架

MAPLE

用于评估知识提取增强(KEE)技术对参数化知识影响的统一诊断框架,从表面层级、概率层级和超越采样层级三个维度拆解答案恢复、破坏及金标排名变化,避免聚合准确率掩盖多样化效应。

时间轴 (近 90 天)

10月15日

MAPLE是一个用于刻画知识提取增强(KEE)技术如何影响参数化知识提取的统一评估框架,其诊断指标从表面层级、概率层级和超越采样层级三个层级对效应进行拆解。

待验证50%
10月15日

MAPLE的表面层级指标测量答案的恢复和破坏,其中恢复指原本答错的题目在KEE干预后答对,破坏指原本答对的题目反而答错。

待验证50%
10月15日

MAPLE的概率层级指标测量未被恢复的失败案例中正确token(金标token)的排名是否发生偏移,即便答案最终未被纠正,金标排名上升也说明技术正在接近正确答案。

待验证50%
10月15日

MAPLE的超越采样层级检测KEE技术是否能将固定采样预算下被采样遗漏的答案重新拉回可及范围,从而区分知识缺失与采样运气两种截然不同的失败根源。

待验证50%
10月15日

MAPLE的价值不在于提出新的KEE技术,而在于提供了一套理解与比较现有技术的分析透镜,帮助研究者和工程师看到'净收益'的构成并进行场景化取舍。

待验证50%
10月15日

在大模型评估日益同质化的背景下,拆解评估维度本身就可能带来新的发现,MAPLE的研究提示追问分数背后发生了什么比刷榜更有意义。

待验证50%

全部知识事实 (6)

来源文章