重新审视表格数据深度回归：目标函数与全局早停的局限

表格数据的深度学习近年来成为研究热点，但针对回归任务的目标函数选择却一直是被忽视的一个维度。大多数研究默认使用均方误差（MSE），而对各种替代方案的实证比较则因数据集、骨干网络和评估协议的差异而难以统一。来自 Yandex Research 团队的这项工作，系统性地重新评估了表格回归中的目标函数，并揭示了一个此前未被充分讨论的训练难题——全局早停（global early stopping）的内在局限。

目标函数之争：MSE 真的那么弱吗

学界已经提出了多条改进 MSE 的研究路线，但这些方法在不同实验设定下得出的结论往往互相矛盾，让从业者难以判断其真实价值。该研究在大量成熟的表格数据集和多种神经网络骨干上进行了统一的横向比较，试图还原一个现代化、可对照的实证图景。

结论颇具启发性：许多被提出的新目标函数相较于经过充分调优的 MSE 基线，提升要么有限，要么并不稳定。换句话说，当 MSE 被认真对待、超参数被仔细调优时，它仍然是一个强劲的对手。这提醒研究者，报告新方法优越性时必须保证基线本身足够强，否则所谓的改进可能只是基线调优不足的假象。

分位数损失脱颖而出

在众多候选者中，分位数损失（quantile loss）表现出了一致性的优势。研究发现，在所测试的各种骨干网络上，分位数损失相较 MSE 都能带来稳定的整体性能提升。相比那些只在特定设定下有效的目标函数，这种跨骨干的一致性使分位数损失成为表格回归中一个值得优先考虑的选择。

其背后的直觉在于，分位数损失天然能够刻画异方差（heteroskedastic）的目标分布，即不同样本区域具有不同的噪声水平。这为后续发现的问题埋下了伏笔。

分位数损失（Quantile Loss，又称 Pinball Loss）原本是分位数回归中的标准损失函数，用于估计目标变量在特定分位点（如中位数、第10百分位等）处的条件分布。对于分位点 τ ∈ (0,1)，其公式为：当预测值低估真实值时，惩罚权重为 τ；高估时惩罚权重为 1-τ。当 τ=0.5 时，分位数损失退化为平均绝对误差（MAE）。与 MSE 相比，分位数损失对异常值更鲁棒，同时能够隐式地刻画预测误差的非对称性。异方差（Heteroskedasticity）是指数据中不同区域的噪声方差并不恒定——例如房价预测中高价房的绝对误差通常更大。MSE 隐式地假设同方差（误差方差处处相等），这在实际表格数据中往往是不成立的假设，这正是分位数损失能够在表格回归任务中获得更稳定优势的理论基础。

全局早停的隐性妥协

即便拥有分位数损失这样一个强力目标函数，研究团队仍然识别出一个难以回避的训练难题：具有不同目标噪声水平的区域，往往在不同的训练轮次（epoch）达到各自的最佳预测性能。

这意味着，当我们按照惯例选取单一的全局早停检查点时，实际上是在不同不确定性区域之间做一种强制折中。低噪声区域可能需要更多训练才能收敛到最优，而高噪声区域可能更早就达到最佳点、随后开始过拟合。一个全局停止点无法同时照顾两者，哪怕目标函数本身已经具备表达异方差分布的能力。

这一发现的价值在于，它把问题从"用什么损失函数"推进到了"何时停止训练"这一更底层的优化动态层面。它表明，目标函数的表达能力和训练过程的收敛行为是两个相互独立、都需要被认真对待的维度。

早停（Early Stopping）是深度学习中防止过拟合的标准做法：在训练过程中持续监控验证集上的指标，当指标不再改善超过一定轮次（patience）时停止训练，并回退到历史最优检查点。这里所说的"全局"是指整个模型共用同一个停止信号，对所有样本一视同仁。全局早停的假设前提是：模型在验证集上的整体性能会随训练的推进而先升后降，且各区域样本的"最优收敛时刻"大致同步。然而在异方差场景下，高噪声区域（信号弱、噪声大）的梯度信号嘈杂，模型在这些区域倾向于更早饱和甚至开始过拟合；而低噪声区域（信号清晰）则需要更多迭代才能收敛到精细的决策边界。两种区域的训练动态存在系统性错位，导致全局早停点必然牺牲其中一方——这一机制在此前的表格学习研究中鲜有被明确讨论。

面向异方差的分位数损失扩展

基于上述洞察，研究者提出了一种异方差感知（heteroskedasticity-aware）的分位数损失扩展。其核心做法是采用依赖输入的标签平滑（input-dependent label smoothing）作为潜在的缓解手段。

直观地说，这种方法允许模型根据输入所处的噪声区域，自适应地调整平滑强度，从而在一定程度上缓解不同区域对最佳停止时机需求不一致的矛盾。实验显示，该扩展在多个骨干网络上进一步超越了原始的分位数损失，验证了这一思路的有效性。

标签平滑（Label Smoothing）最初是图像分类中的正则化技巧，通过将硬标签（0或1）替换为软标签（如0.9和0.1/类别数）来防止模型过度自信。在回归场景中，类似的思想可以理解为对目标值施加轻微的"扰动"或"模糊化"，使训练信号更平滑、对噪声标签更具鲁棒性。这里所说的"输入依赖（input-dependent）"平滑是指平滑强度不再是一个全局超参数，而是由模型根据当前输入样本所在区域的估计噪声水平动态决定——在高噪声区域施加更强的平滑以抑制过拟合冲动，在低噪声区域保持较小的平滑以保留精细的拟合能力。这在本质上是让模型的训练行为与局部数据特性相匹配，从损失函数层面部分弥补了全局早停无法差异化对待不同区域的缺陷。

对从业者与研究者的启示

这项工作给出了几点可直接落地的参考：

• 不要低估 MSE：在引入复杂目标函数之前，先确保 MSE 基线被充分调优；
• 优先尝试分位数损失：它在多种骨干上提供了稳定的整体收益，是一个性价比高的默认选项；
• 警惕全局早停的折中效应：当数据中存在明显的异方差结构时，单一早停点可能并非最优，值得探索区域自适应的训练策略。

研究团队已将完整代码开源（github.com/yandex-research/tabular-regression），便于社区复现与进一步验证。总体而言，这篇论文不仅更新了表格深度回归目标函数的实证认知，更重要的是把"不同不确定性区域最佳停止时机不一致"这一常被忽视的现象摆到了台面上，为后续研究指明了一个新的改进方向。