ML Zoomcamp 分类模块复盘：互信息为何胜过相关性分析

分类任务的第一步，往往不是选模型，而是搞清楚哪些特征真正有用。ML Zoomcamp 2026 的 Module 3 围绕这个问题展开，内容涵盖逻辑回归训练、独热编码处理类别变量、互信息评分、特征消除，以及分类模型的可解释性。一位学员在 Dev.to 上分享了自己的学习笔记和两个关键发现，对任何做表格数据分类的人都有参考价值。

分类任务的基础工具箱

这一模块的技术栈很少，但每一步都有明确目的。

逻辑回归作为分类模型的起点，负责给出概率输出并划定决策边界。类别变量不能直接扔进模型，独热编码把每个类别展开成独立的二元特征，让模型能够量化不同类别对目标的影响。

互信息评分用于衡量单个特征与目标之间的依赖关系，它对非线性关系同样敏感，不像皮尔逊相关系数那样只捕捉线性关系。特征消除则通过逐个移除特征并观察性能变化，反向验证哪些特征是真正在贡献预测能力。

最后一步是模型解释——理解一个训练好的分类模型到底学到了什么，而不仅仅是看它预测得准不准。

互信息（Mutual Information） 源自信息论，度量的是两个随机变量之间的统计依赖性——知道其中一个变量后，对另一个变量的不确定性减少了多少。与皮尔逊相关系数只衡量线性关系不同，互信息能捕捉任意形式的依赖，包括非线性和非单调关系，且对类别变量与数值变量的组合同样适用。它的取值范围从 0（完全独立）到变量熵的较小值（完全依赖），因此常被用作 filter 式特征选择的评分标准。在实践中，sklearn.feature_selection.mutual_info_classif 和 mutual_info_regression 会基于 k 近邻估计概率密度，样本量较小时结果会有波动，建议固定随机种子并多次运行取平均。

独热编码（One-Hot Encoding） 将含有 k 个类别的离散变量展开为 k 个二元列，每个样本在对应类别列上取 1，其余为 0。这样做避免了把类别代号当作数值大小来解读的陷阱，也让线性模型能为每个类别学习独立权重。需要注意两点：一是产生高维稀疏矩阵，类别基数很大时应改用目标编码或嵌入；二是存在“虚拟变量陷阱”——若同时保留全部 k 列并拟合截距项，特征间会完全共线，逻辑回归虽可通过正则化缓解，但通常仍会 drop='first' 去掉一列。编码方案的选择有时会轻微影响特征重要性和精度，这正是文中用第二种方案复验 0.002 差异的原因。

相关性排第一的特征，未必真正有用

这位学员最重要的收获，是认识到相关性和互信息回答的是两个不同的问题。

在他使用的数据集中，相关性矩阵里数值最高的一对是 interaction_count 和 lead_score。如果只看相关性来排特征重要性，interaction_count 似乎应该被优先保留。但改用互信息评分后，与目标变量互信息最高的特征是 lead_source——一个类别特征。

问题在于，相关性矩阵本质上计算的是数值列之间的线性关系，类别特征根本无法进入这个矩阵。也就是说，仅凭相关性排序，lead_source 的重要性会被完全忽略。

如果按照相关性结果来构建特征集，就会得到一个遗漏关键类别特征、同时高估 interaction_count 重要性的模型。这个案例说明，特征选择阶段的工具选择，直接决定了模型能看到什么、看不到什么。

0.002 的精度差异值得重新验证

第二个发现跟实验方法有关。

在特征消除练习中，移除 number_of_courses_viewed 后精度只下降了 0.002，而移除 interaction_count 后精度下降了 0.044。两者相差超过二十倍，前者看起来像是噪声——很可能只是随机波动造成的。

他没有直接把它当作噪声放过，而是用另一种独热编码方案把整个对比重新跑了一遍，确认结果是否由库的实现细节导致。结论是确定的：这个微小差异是真实的，不是随机误差。

这个操作的正确之处在于：小差异容易被当作噪声忽略，但在确认它确实是噪声之前，重新验证的成本很低，而误判的代价可能很高。如果 0.002 的差异实际上是某个特征在特定编码方式下才显现的价值，忽略它就意味着丢掉了改进空间。

实际操作中，重跑实验时可以注意几点：固定随机种子、确保两种编码方案下其他条件一致、对比多次运行的方差而不是单次结果。这样得到的结论才经得起推敲。

分类模型的可解释性为什么重要

模块中专门讲了"解释分类模型学到了什么"，这在实际项目中比很多人以为的更重要。

当一个分类模型被部署到业务场景中——比如线索评分、风险识别——使用者需要知道模型为什么做出某个判断。互信息评分和特征消除提供的就是这种可解释性：它们告诉你哪些特征在驱动预测，哪些特征移除后影响不大。

这种理解也能帮助排查问题。如果模型上线后表现异常，知道特征重要性的排序，就能快速定位是哪个输入环节出了问题。

这位学员下一步要进入 Module 4，主题是分类的评估指标。从特征选择走到模型评估，逻辑上是连贯的：先确保喂给模型的特征是对的，再确保用来衡量模型表现的标准是合理的。

对于正在学习机器学习分类的读者，这个模块给出的两个实操经验值得记住：用互信息补充相关性分析，别让类别特征被矩阵计算排除在外；遇到意外的小差异，花时间验证它，而不是直接归为噪声。

特征消除（Feature Elimination） 属于 wrapper 式特征选择，典型实现是递归特征消除（RFE）：反复训练模型、按权重或重要性剔除最弱的特征，直到达到目标数量。它的优势是直接以模型性能为判据，能捕捉特征间的交互效应；代价是计算开销随特征数增长，且小数据集上的性能波动容易被误读为真实信号。因此评估某特征是否值得保留时，应关注多次交叉验证下精度差异的均值和方差，而不仅是单次划分的结果。这与文中“0.002 差异需重新验证”的做法一脉相承。