过拟合
机器学习中模型在训练数据上表现优异但在新数据上泛化能力差的现象,通常由模型复杂度过高导致,模型拟合了训练数据中的噪声而非真实规律
核心事实
时间轴 (近 90 天)
识别过拟合的信号包括:策略参数越多越好、回测结果对参数微小变化极其敏感、策略在样本外测试中表现断崖式下跌、交易次数过少导致统计显著性不足。
过拟合的常见信号包括:策略参数数量远多于可解释的交易逻辑;在单个时间段内曲线异常平滑;对参数微调极为敏感。
成功的回测并不证明未来能盈利,策略可能被过度优化以适配历史数据,即过拟合。
反馈分数与留出分数一致率低,本质上是过拟合与泛化差距在agent自我改进场景下的具体体现。
迁移学习实践中,新任务数据量越小,越应冻结更多层以防止过拟合;学习率要比从头训练时小得多;若新数据与预训练数据分布差异很大,往往需要微调更多层。
过拟合是指模型在训练数据上表现完美,但在新数据上表现很差,相当于死记硬背而非学到规律。
在评估集设计中,留出集指优化过程中刻意不参与迭代、只用于最终检验的数据部分,用于检测过拟合,前提是评分器定义能反映真正关心的好输出。
过拟合的典型信号是训练集准确率持续上升,而验证集准确率停滞甚至下降。
普通回测允许开发者反复调参直到曲线好看,极易产生过拟合,策略只是记住了历史噪声而非真实规律。
凸性意味着存在一个唯一的最优重尾程度,该最优值在大规模DNN上能经验性地预测过拟合的发生
还有 16 条时间轴事件
全部知识事实 (20)
过拟合是指模型在训练数据上表现优异,但在未见过的测试数据上性能大幅下降的现象
80%已验证训练数据的质量和多样性直接影响模型输出可靠性,包含大量低质量、矛盾或虚假信息的训练数据可能导致模型学习到错误模式
70%已验证在后训练阶段,过低的损失可能对应过拟合,即模型死记硬背训练数据而丧失泛化能力
65%已验证样本过于简单则模型无学习价值,过于困难则可能引入噪声学习信号干扰训练,最有效的学习发生在略高于当前能力但仍可企及的区域
65%已验证应使用交叉验证而非单次训练/测试划分来更可靠地评估模型性能
65%已验证归一化参数必须只从训练集计算,然后套用到验证集和测试集,以避免数据泄漏
65%待验证识别过拟合的经典方法是比较训练集AUC和验证集AUC——如果训练集AUC接近1.0而验证集AUC明显偏低,就是过拟合的典型信号
90%待验证神经网络层数越多、神经元越多,模型的表达能力越强,但也越容易出现过拟合
85%待验证过拟合是指模型在训练数据上表现很好,但在新数据上表现很差
60%待验证应对小数据集过拟合的常用策略包括数据增强、正则化技术(如Dropout、权重衰减)、早停法以及控制模型容量
60%待验证识别过拟合的信号包括:策略参数越多越好、回测结果对参数微小变化极其敏感、策略在样本外测试中表现断崖式下跌、交易次数过少导致统计显著性不足。
50%待验证过拟合的常见信号包括:策略参数数量远多于可解释的交易逻辑;在单个时间段内曲线异常平滑;对参数微调极为敏感。
50%待验证成功的回测并不证明未来能盈利,策略可能被过度优化以适配历史数据,即过拟合。
50%待验证反馈分数与留出分数一致率低,本质上是过拟合与泛化差距在agent自我改进场景下的具体体现。
50%待验证迁移学习实践中,新任务数据量越小,越应冻结更多层以防止过拟合;学习率要比从头训练时小得多;若新数据与预训练数据分布差异很大,往往需要微调更多层。
50%待验证过拟合是指模型在训练数据上表现完美,但在新数据上表现很差,相当于死记硬背而非学到规律。
50%待验证在评估集设计中,留出集指优化过程中刻意不参与迭代、只用于最终检验的数据部分,用于检测过拟合,前提是评分器定义能反映真正关心的好输出。
50%待验证过拟合的典型信号是训练集准确率持续上升,而验证集准确率停滞甚至下降。
50%待验证普通回测允许开发者反复调参直到曲线好看,极易产生过拟合,策略只是记住了历史噪声而非真实规律。
50%待验证凸性意味着存在一个唯一的最优重尾程度,该最优值在大规模DNN上能经验性地预测过拟合的发生
50%