稀疏非配对数据下的基准预测：PKPS方法解析

在AI模型评估成本高企的背景下，如何利用稀疏、非配对的响应数据准确预测模型性能成为关键挑战。本文介绍一种名为PKPS的新方法，它通过核视角空间实现了查询高效的基准预测，并在两大基准套件上超越基线。

评估困境：稀疏与非配对数据的普遍性

全面评估生成模型在所有基准任务的所有查询上的表现，成本高昂到令人望而却步。因此，实践中模型往往只在不同任务子集或不同查询子集上被评估。这导致收集到的响应集合以及对应的（模型，任务）得分矩阵呈现稀疏且非配对的特性——许多模型-任务组合没有直接得分，不同模型评估过的查询也不尽相同。

这种数据稀疏性给模型比较和选择带来了巨大挑战。传统方法通常只利用密集且配对的部分数据，而丢弃了大量有价值的稀疏信息。如何从这些看似不完整的数据中挖掘出模型能力的有效表征，成为亟待解决的问题。

PKPS：核视角空间的创新思路

论文提出的Product Kernel Perspective Space（PKPS）是一种基于模型嵌入响应的低维表示集合。其核心创新在于，PKPS不再要求比较相同查询的响应，而是通过比较相似查询的响应来表征模型。这种泛化能力使得PKPS能够利用稀疏和非配对的信息，突破了传统方法的局限。

具体而言，PKPS将每个模型的响应嵌入到一个空间中，并通过核方法捕捉响应之间的相似性。由于相似查询的响应具有可比性，即使两个模型没有在完全相同的查询上被评估，也能通过它们对相似查询的响应来推断其相对能力。这为黑盒生成模型的表示提供了一种更灵活的框架。

核方法（Kernel Methods） 是一类通过核函数隐式地将数据映射到高维特征空间，从而在该空间中计算相似性的机器学习技术。常见的核函数包括高斯核（RBF核）和多项式核。其核心优势在于“核技巧”：无需显式计算高维映射，即可通过核函数直接得到样本间的内积，从而高效捕捉非线性关系。在PKPS中，核方法被用于度量不同模型对相似查询响应之间的相似性，使得即使模型没有在相同查询上被评估，也能通过响应嵌入的核相似度来推断模型能力的相对关系。这种设计将“响应可比性”从精确查询匹配推广到相似查询匹配，是PKPS能够处理稀疏与非配对数据的关键技术基础。

低维嵌入表示（Low-dimensional Embedding） 指将高维、复杂的原始数据（如模型对查询的文本响应）映射到一个低维连续向量空间的过程，典型方法包括主成分分析、自编码器或对比学习等。低维嵌入能够保留数据中最重要的变化因素，同时去除噪声和冗余，使后续的相似性计算和预测更加稳定高效。在PKPS中，每个模型的响应被嵌入到一个低维空间中，模型的能力被表示为该空间中的一个点或向量。由于嵌入空间中的距离或内积可以反映响应语义上的相似性，PKPS得以在稀疏观测下通过几何关系推断模型在未评估任务上的表现，这正是“视角空间”一词的由来。

理论优势：查询高效性

从理论层面，论文证明了基于PKPS的基准预测相对于仅使用密集且配对数据的方法具有查询高效性。这意味着，在达到相同预测精度的情况下，PKPS需要更少的查询评估，从而显著降低评估成本。这一理论保证为PKPS的实际应用提供了坚实基础。

查询高效性的关键在于PKPS能够从稀疏数据中提取更多信息。通过利用相似查询的响应，PKPS实际上扩大了可用信息的范围，使得每个查询的评估价值最大化。这对于大规模模型评估场景尤为重要，因为每次查询都可能涉及昂贵的计算或人工标注。

查询高效性（Query Efficiency） 在基准预测语境下，指在达到给定预测精度目标时，方法所需评估的查询数量或查询-模型对数量的多少。查询高效性越高，意味着用更少的昂贵评估就能获得可靠的模型性能排序或得分预测。论文通过理论分析证明，基于PKPS的方法相较于仅使用密集配对数据的方法，在相同查询预算下具有更低的预测误差上界，或在相同精度下需要更少的查询。这一性质对于大模型评估尤为重要，因为每次查询都可能涉及推理计算、API调用或人工标注成本，查询高效性直接决定了评估的可扩展性和经济性。

实证结果：超越基线

在实证方面，论文在两个大型基准套件上进行了实验，结果表明基于PKPS的方法在基准预测任务上优于基线方法。这验证了PKPS在真实场景中的有效性，也展示了其处理稀疏和非配对数据的强大能力。

实验涵盖了多种模型和任务组合，PKPS均表现出稳定的性能提升。与仅使用配对数据的传统方法相比，PKPS能够更准确地预测模型在未评估任务上的表现，为模型选择和部署提供了更可靠的依据。

意义与展望

PKPS的提出为生成模型评估开辟了新途径。它不仅降低了评估成本，还提高了数据利用效率，使得在资源受限的情况下也能进行可靠的模型比较。未来，这一方法有望扩展到更多类型的模型和任务，进一步推动AI评估的标准化和高效化。

对于研究者和工程师而言，PKPS提供了一种实用的工具，能够从已有的稀疏评估数据中提取更多洞见。随着模型规模的不断增长，这种查询高效的方法将变得越来越重要。