机器学习降雨预测的评估陷阱：气候基准难以超越

机器学习在降雨预测中常因评估方法不当而高估性能。一项基于孟加拉国35个气象站、618,650个站点-日数据（1948-2014）的研究，系统比较了随机划分、时间划分和时空划分三种评估方式，并对比了仅日历特征与包含前期降雨特征、六种学习器与气候学、持续性及SARIMA模型。研究发现，简单的站点-月气候学基准在分类高降雨月份时准确率达88.4%（AUC 0.950），而在时间评估下，没有学习器能显著超越它。

随机划分的乐观偏差：模型看到了未来

随机打乱站点记录进行训练和测试，会让模型在预测某天时看到邻近站点当天的观测，同时掩盖了季节查找表已解释大部分方差的事实。研究中，仅使用日历特征的随机森林在随机划分下达到次日湿润日AUC 0.889，高于任何使用真实预测变量在时间评估下的模型。然而，当迁移到未来年份时，其AUC降至0.835，低于气候学基准的0.859。这说明随机划分严重高估了模型的泛化能力，尤其是当模型依赖日历特征时，它实际上是在记忆季节模式而非学习预测信号。

数据泄漏（data leakage）指在模型训练过程中，训练数据包含了预测时不应获得的信息，导致评估结果过于乐观。在时空数据中，随机划分训练集和测试集会使同一站点相邻日期或邻近站点同日期的观测同时出现在训练和测试中，模型因此能“窥见”测试样本的时空邻近信息。这种泄漏在时间序列和空间数据中尤为隐蔽，因为样本间并非独立同分布。正确的做法是采用时间划分（按时间先后切分）或时空划分（同时考虑时间和空间隔离），确保测试集信息在训练阶段完全不可见。

气候学基准的强度：简单但难以击败

站点-月气候学仅凭历史平均就能以88.4%的准确率分类高降雨月份，AUC达0.950。在时间评估（训练≤1999年，测试2005-2014年）下，没有任何学习器比气候学提升超过0.8个百分点。对于月度总降雨量，也没有学习器显著优于气候学。这一结果挑战了机器学习在降雨预测中必然优于简单基准的假设，提示研究者必须将气候学作为最低基准线，并报告相对于它的技能分数。

气候学基准（climatology baseline）指利用历史长期平均值（如站点-月平均降雨量）作为预测值。它不依赖任何实时预测变量，仅反映季节循环和地点气候特征。在降雨预测中，气候学基准之所以强大，是因为降雨的季节性和空间差异主导了方差，简单的查找表就能解释大部分可预测信号。因此，任何机器学习模型若不能显著超越气候学基准，其实际价值就值得怀疑。报告相对于气候学的技能分数（如Brier技能分数）已成为气象预测评估的通行做法。

滞后降雨特征带来真实但有限的技能

包含滞后降雨特征的模型在次日预测中展现出 modest 但真实的技能：相对于气候学的Brier技能分数为0.074（95% CI 0.064-0.088）。当移除站点和年份输入时，技能分数升至0.091；当加入其他站点同日观测时，升至0.131。然而，GRU序列模型与梯度提升表现相当但未超越，且技能在超过两天提前量后消失。这表明降雨预测的可预测性窗口很短，复杂模型未必能带来额外收益。

Brier技能分数（Brier Skill Score, BSS）是衡量概率预测相对于参考预测（此处为气候学）改进程度的指标，计算公式为 1 - BS_model/BS_ref，其中BS为Brier分数（预测概率与观测二元结果的均方误差）。BSS大于0表示模型优于参考，等于0表示无改进，小于0表示不如参考。BSS对罕见事件敏感，需结合置信区间解读。研究中报告的BSS在0.07-0.13之间，虽统计显著但幅度有限，说明真实可预测性窗口很短。

泄漏感知协议：推动更严谨的评估

研究团队发布了泄漏感知的评估协议和代码，要求未来基于站点的研究在保留年份上报告相对于气候学的技能。这一举措有助于遏制因数据泄漏导致的性能虚高，促进降雨预测研究的可重复性和实际应用价值。对于从业者而言，采用时间或时空划分评估模型，并始终与气候学基准对比，是确保模型真正有用的关键步骤。

时空划分（spatiotemporal splitting）是一种评估策略，要求训练集和测试集在时间和空间上均不重叠。例如，用早期年份、部分站点的数据训练，用后期年份、其他站点的数据测试。这能同时避免时间泄漏（未来信息流入训练）和空间泄漏（邻近站点信息流入训练），更真实地模拟业务预报场景。时空划分通常比单纯时间划分更严格，尤其适用于站点密集、空间相关性强的区域。研究者应根据实际应用场景选择合适的划分方式，并明确报告划分策略。