PFN
一种通过在大量合成先验数据上预训练神经网络，使其直接近似贝叶斯后验预测分布的机器学习范式，将贝叶斯推断计算摊销到预训练阶段，无需推断时的显式后验采样
时间轴 (近 90 天)
在高风险或罕见场景预测时，建议通过多个独立模型的贝叶斯平均来降低不确定性，而不应盲信单个预训练模型的输出
先验数据拟合网络（PFN）的核心思路是通过在大量合成的先验数据上进行预训练，让神经网络直接学会近似贝叶斯后验预测分布（PPD）
PFN将贝叶斯计算摊销到一次性的预训练过程中，无需在部署时做显式的后验采样
该研究指出关于PFN近似质量的实证结果出人意料地稀缺
Transformer架构天然适合处理变长上下文，使网络可以在推断时直接将训练集作为输入并输出预测分布，无需任何参数更新
研究采用经验风险最小化的视角，将PFN部署误差分解为先验误差、上下文误差和摊销误差三个来源
先验误差指合成先验与真实数据分布之间的差距，上下文误差指有限上下文样本带来的信息不足，摊销误差指网络本身在逼近目标PPD时的近似偏差
实证结果表明PFN通常能够很好地复现目标后验预测分布
罕见设定下的摊销残差误差无法仅靠扩大模型规模来消除
独立预训练的多个PFN之间会出现预测分歧，这是摊销误差的外在表现
还有 2 条时间轴事件
全部知识事实 (12)
在高风险或罕见场景预测时，建议通过多个独立模型的贝叶斯平均来降低不确定性，而不应盲信单个预训练模型的输出
50%待验证先验数据拟合网络（PFN）的核心思路是通过在大量合成的先验数据上进行预训练，让神经网络直接学会近似贝叶斯后验预测分布（PPD）
50%待验证PFN将贝叶斯计算摊销到一次性的预训练过程中，无需在部署时做显式的后验采样
50%待验证该研究指出关于PFN近似质量的实证结果出人意料地稀缺
50%待验证Transformer架构天然适合处理变长上下文，使网络可以在推断时直接将训练集作为输入并输出预测分布，无需任何参数更新
50%待验证研究采用经验风险最小化的视角，将PFN部署误差分解为先验误差、上下文误差和摊销误差三个来源
50%待验证先验误差指合成先验与真实数据分布之间的差距，上下文误差指有限上下文样本带来的信息不足，摊销误差指网络本身在逼近目标PPD时的近似偏差
50%待验证实证结果表明PFN通常能够很好地复现目标后验预测分布
50%待验证罕见设定下的摊销残差误差无法仅靠扩大模型规模来消除
50%待验证独立预训练的多个PFN之间会出现预测分歧，这是摊销误差的外在表现
50%待验证研究提出并验证了贝叶斯模型平均（BMA）作为降低推断时不确定性的补救方案
50%待验证该工作延续了Prior-fitted Networks（PFN，即TabPFN背后的核心思想）的路线，并将思路从表格扩展到结构化序列（自然语言）
50%