SelectPFN：一次前向传播完成贝叶斯变量选择的稀疏非线性回归新方法

在表格数据建模领域，基于先验数据拟合网络（Prior-Data Fitted Networks, PFN）的模型展现出强大潜力——它们能在单次前向传播中完成对新数据集的预测。然而，这些模型存在一个根本性缺陷：无法告知用户其预测依赖于哪些输入变量。对于需要可解释性和变量筛选的科学与工业场景而言，这是致命的短板。

近期提出的 SelectPFN 正是针对这一痛点。据该研究论文描述，SelectPFN 是一种能够联合执行贝叶斯变量选择与预测的 PFN，专为稀疏非线性回归任务设计。它的核心突破在于：在单次前向传播中，模型不仅给出预测结果，还返回每个变量的后验包含概率（posterior inclusion probabilities）。

核心机制：从采样到可证明的排除

SelectPFN 的预测仅基于采样得到的变量子集进行计算。这意味着，被排除的变量在数学上可证明无法影响预测结果。研究指出，这一特性恰好符合贝叶斯模型的规定——即预测分布应当仅依赖于被选中的变量集合。

该网络通过一个围绕组 spike-and-slab 稀疏输入神经网络构建的元先验（meta-prior），在合成任务上完成一次性预训练。这种设计使得模型能够学习到稀疏非线性回归中变量选择的通用模式，而非针对特定数据集进行调参。

PFN 与摊销推断：Prior-Data Fitted Networks（PFN）是一类元学习模型，其核心思想是在大量合成任务上进行一次性预训练，使模型学会一个近似的贝叶斯后验预测分布。给定新数据集时，PFN 无需重新训练或调参，仅通过一次前向传播即可输出预测，因此被称为“摊销”推断——即把昂贵的逐数据集推断成本摊销到预训练阶段。这与传统方法（如对每个新数据集重新拟合 lasso 或 MCMC 采样）形成鲜明对比，也是 SelectPFN 能在 0.04 秒内完成预测的根本原因。

spike-and-slab 稀疏先验：spike-and-slab 是贝叶斯变量选择中的经典先验结构。“spike”对应变量系数为零的退化分布，表示该变量被排除；“slab”则是系数非零时的宽扩散分布。二者混合后，每个变量带有一个先验包含权重，控制其被选中的概率。组 spike-and-slab 将这一思想扩展到变量组或交互项，使模型能同时处理主效应与交互效应的稀疏性。SelectPFN 的元先验正是围绕这一结构构建，从而在预训练中学会稀疏非线性回归的通用选择模式。

理论支撑：摊销选择的三重保证

SelectPFN 的核心价值不仅在于工程实现，更在于其严格的理论分析。研究团队为摊销选择（amortized selection）发展了以下理论：

贝叶斯遗憾界：针对摊销中位数概率模型给出了贝叶斯遗憾界，量化了摊销推断与理想贝叶斯推断之间的差距。

信息量刻画：表征了检测一个变量所需的信息量如何随该变量对应结构的先验权重 ω 增长，其增长速率约为 (2/λ)log(1/ω)，其中 λ≤1 为效率因子。这解释了为何某些变量在特定先验设定下更难被检测到。

负面结果：研究证明了一个重要局限——平均情况下的训练并不能自动转化为固定真值下的频率派保证。这意味着模型在任意给定数据集上的假发现率控制需要额外机制。

贝叶斯遗憾界：遗憾（regret）衡量的是模型采用近似推断（此处为摊销中位数概率模型）与理想贝叶斯后验推断之间的性能差距。贝叶斯遗憾界给出了这一差距随样本量、变量维度等增长的上界，从而说明摊销选择在何种条件下能逼近理想贝叶斯决策。它属于贝叶斯决策论框架，不同于频率派的风险界。

频率派保证与假发现率：频率派统计关注在固定真值下、重复采样时的错误率控制。假发现率（False Discovery Rate, FDR）指被选出的变量中实际为噪声的平均比例。SelectPFN 的负面结果指出：平均情况下的训练目标并不能自动保证在任意固定数据集上控制 FDR，因此需要 knockoff 等额外机制来提供有限样本下的精确保证。

假发现率控制：Knockoff 统计量的精确保证

SelectPFN 在变量选择可靠性方面引入了一个精巧的设计：列置换等变性（column-permutation equivariance）结合原始列与 knockoff 列的随机交错，从而生成 knockoff 统计量，并实现精确的有限样本假发现率控制。

关键点在于，这一保证即使在元先验设定错误的情况下依然成立。这极大增强了方法在实际应用中的鲁棒性，因为现实中很难确保元先验与真实数据生成过程完全匹配。

Knockoff 与列置换等变性：Knockoff 方法通过为每个原始变量构造一个“仿冒”变量（knockoff），并要求二者在联合分布中满足交换对称性，从而在变量选择时利用原始变量与 knockoff 的统计量差异来控制 FDR。列置换等变性指模型输出对输入列的排列顺序保持不变，这是构造有效 knockoff 统计量的关键前提。SelectPFN 将原始列与 knockoff 列随机交错后输入网络，利用等变性生成统计量，从而在有限样本下实现精确的 FDR 控制，且该保证不依赖于元先验是否正确。

AUPRC：精度-召回曲线下面积（Area Under the Precision-Recall Curve）是评估二分类或变量选择在不平衡场景下性能的指标。相比 ROC 曲线，AUPRC 对正类稀少的情况更敏感，因而适合变量选择任务——真正相关的变量往往远少于噪声变量。

实验表现：全面超越现有方法

在 p 高达 500 的超出先验范围的非线性设计上，SelectPFN 展现出了显著优势：

• 精度-召回曲线下面积（AUPRC） 相比 lasso、BART、DART、LassoNet 以及组惩罚稀疏神经网络提升了 0.23-0.28
• 假发现比例控制在约 0.07
• 每个数据集处理时间仅约 0.04 秒

这种优势在真实协变量矩阵上同样得以保持。此外，正如理论所预测的，仅含交互效应的变量的检测率随其先验权重的增加而单调上升。

为什么这很重要

对于需要理解“哪些变量在驱动预测”的应用场景——如基因组学、金融风控、材料发现——SelectPFN 提供了一条兼顾速度、可解释性与统计保证的新路径。它避免了传统方法中反复拟合模型或进行后处理选择的计算开销，同时保持了频率派意义上的错误控制。

当然，该方法目前主要针对稀疏非线性回归，其在更广泛任务上的泛化能力、以及元先验设计对最终性能的敏感性，仍是值得关注的开放问题。