机器学习论文研究设计怎么写？以玩家流失预测为例详解

问题背景：ML论文中常见的方法论困惑

在机器学习相关的学术研究中，一个看似基础却常被忽视的问题是：如何准确界定整个研究的"研究设计"（research design）？ 传统的社会科学研究方法论体系（实验研究、观察研究、案例研究等）并不能完美映射到以模型比较为核心的ML研究上，这让许多撰写学位论文的学生陷入困惑。

这种困惑有其深层原因。社会科学的方法论体系在二十世纪经过数十年的发展已经高度成熟——从Fisher奠定的随机化实验设计，到Campbell和Stanley的准实验框架，再到Creswell的混合方法范式——每一种研究设计都有清晰的适用条件和判定标准。然而，机器学习作为一个在工程实践与学术研究之间快速成长的领域，其方法论规范尚未形成类似程度的共识。ML论文中的"实验"往往指的是计算实验（computational experiment），与社会科学中涉及人类被试的实验有着本质不同，这种术语上的模糊性进一步加剧了分类的困难。

近期一位正在撰写机器学习方向学士论文的学生在Reddit上求助，其研究主题极具代表性：在移动游戏场景下，比较三种机器学习模型在"预测性能"与"可解释性"两个维度上的表现，并探究二者之间是否存在权衡（trade-off）以及权衡在何种应用场景下更为显著。

移动游戏场景为这项研究提供了一个极具实践意义的落地语境。移动游戏行业的数据科学应用已经非常成熟，从用户留存预测、付费倾向建模到实时推荐系统，ML模型渗透到了运营的各个环节。然而，随着GDPR等数据隐私法规的实施以及用户对算法决策透明度要求的提升，仅仅追求预测准确率已不再足够——运营团队需要理解模型"为什么"做出某个预测，以便做出负责任的业务决策。这正是"性能vs.可解释性"权衡问题的产业根源。

这个问题触及了ML研究方法论中的一个模糊地带，值得深入分析。

研究方法拆解：混合方法的典型样本

从原帖描述来看，这项研究的方法论设计其实相当完整，我们可以将其拆解为几个层次。

数据处理层：CRISP-DM 的准确定位

作者明确指出，数据准备阶段遵循了 CRISP-DM（跨行业数据挖掘标准流程）模型，涵盖数据理解、清洗、特征工程等环节。但一个关键的澄清是：CRISP-DM 仅被用作数据准备阶段的流程指引，而非整篇论文的研究方法论。

CRISP-DM（Cross-Industry Standard Process for Data Mining）是1996年由欧盟资助的项目中诞生的数据挖掘标准流程，由SPSS、Teradata、戴姆勒-克莱斯勒和OHRA等企业联合开发。它将数据挖掘项目划分为六个阶段：业务理解、数据理解、数据准备、建模、评估和部署，且各阶段之间允许迭代回溯。尽管诞生已近三十年，CRISP-DM至今仍是工业界应用最广泛的数据科学流程框架——多项行业调查显示其采用率长期高于SEMMA、KDD Process等竞争框架。

这是一个非常正确的认知。CRISP-DM 本质上是一个工程流程模型，它描述的是数据挖掘项目的执行步骤，而不是学术意义上的研究设计。将其误当作研究方法论，是不少初学者容易犯的错误。CRISP-DM回答的是"做什么、以什么顺序做"，而非学术研究中"为什么这样做、如何论证有效性"的方法论问题——这正是二者的本质区别。

性能评估层：定量研究方法

在模型评估上，作者采用了标准的定量手段：

• 在相同条件下（仅超参数不同）训练三个模型，确保可比性；
• 使用 Recall、F1-score、ROC-AUC 和 PR-AUC 多个指标评估性能；
• 采用 Wilcoxon 符号秩检验 进行统计显著性检验。

这四个指标的组合选择本身就反映了研究者对评估维度的深入思考。Recall（召回率）衡量模型对正类样本的捕获能力，在玩家流失预测等"漏报代价高"的场景中尤为关键。F1-score是精确率与召回率的调和平均，提供了单一的平衡性指标。ROC-AUC（受试者工作特征曲线下面积）衡量模型在所有分类阈值上的整体判别能力，但在类别严重不平衡时可能过于乐观——这在移动游戏用户行为数据中极为常见，因为付费用户或流失用户通常是少数。正因如此，PR-AUC（精确率-召回率曲线下面积）作为补充指标被引入，它对少数类的表现更为敏感。这种多指标并用的策略避免了单一指标可能带来的评估偏差。

Wilcoxon符号秩检验的选用同样值得关注。这是一种由Frank Wilcoxon于1945年提出的非参数统计方法，用于比较配对样本之间的差异，不要求数据服从正态分布。2006年，Janez Demšar发表了极具影响力的论文《Statistical Comparisons of Classifiers over Multiple Data Sets》，系统论证了为什么传统的配对t检验在比较分类器时存在严重问题（如违反独立性假设、对异常值敏感），并推荐使用Wilcoxon符号秩检验（两个分类器比较时）或Friedman检验配合Nemenyi事后检验（多个分类器比较时）。这篇论文至今被引用超过一万次，奠定了ML领域统计比较的方法论标准。

这一层完全属于定量研究范畴，且引入统计检验体现了研究的严谨性——这一点在本科论文中并不常见。选择Wilcoxon检验而非简单报告均值差异，意味着研究者意识到跨折（cross-validation fold）或跨实验的性能差异可能受随机性影响，需要通过假设检验来判断差异是否具有统计意义。

可解释性评估层：定性研究方法

可解释性的评估则走了两条路径：

1. 内在可解释性（intrinsic interpretability）：基于文献推导出的透明性标准进行判断；
2. 事后可解释性（post-hoc interpretability）：使用 SHAP 进行分析。

这两类可解释性的区分源自可解释AI（XAI）领域的基础性理论框架。2017年，Finale Doshi-Velez与Been Kim在其开创性论文《Towards A Rigorous Science of Interpretable Machine Learning》中，系统梳理了可解释性评估的三个层次：应用级评估（由领域专家在真实任务中判断）、人类级评估（由普通人在简化任务中判断）和功能级评估（不需要人类参与，使用形式化代理指标）。内在可解释性指模型结构本身的透明性——例如浅层决策树的决策路径可以直接被人类阅读和理解，线性回归的系数可以直接解释为特征的边际效应。事后可解释性则是对不透明模型（如深度神经网络、集成方法）施加外部解释技术，如SHAP、LIME等。前者是模型的固有属性，后者是外部分析工具提供的近似解释——这一区分对研究设计有直接影响。

SHAP（SHapley Additive exPlanations）由Scott Lundberg和Su-In Lee于2017年提出，其理论根基来自博弈论中的Shapley值概念——由诺贝尔经济学奖得主Lloyd Shapley在1953年提出，用于公平分配合作博弈中各参与者的贡献。SHAP将每个特征视为一个"参与者"，通过计算其在所有可能的特征组合中的边际贡献，来量化该特征对单个预测结果的影响。SHAP的核心优势在于它是唯一同时满足局部准确性（Local Accuracy）、缺失性（Missingness）和一致性（Consistency）三个理论性质的归因方法。

有意思的是，作者在 SHAP 上没有计算额外的量化指标，而是定性地分析全局 SHAP summary plot（例如特征效应的一致性、SHAP 值的分布范围），并讨论其含义。Summary plot展示全局特征重要性及其方向性影响，其中SHAP值分布越集中、方向越一致，人类专家就越容易形成对模型决策逻辑的直觉理解。这使得可解释性评估整体偏向定性——研究者实质上是在对视觉模式进行专家判断，而非计算某个数值化的可解释性得分。

核心界定：这究竟属于什么研究设计？

回到作者最关心的问题：这项研究应归类为实证评估研究、比较研究、实验研究，还是其他？

最贴切的定位：混合方法的比较实验研究

结合方法论特征，这项研究最准确的定位应是 "混合方法的比较性实证研究"（mixed-methods comparative empirical study），其中带有明显的**准实验（quasi-experimental）**色彩。理由如下：

为何是"实验性"的？ 作者在受控条件下训练模型（仅超参数不同），这构成了一种可控的操纵变量设置——被比较的"处理"就是不同的模型算法。虽然这不是社会科学意义上带随机分组的严格实验，但在ML语境下，控制训练条件、统一评估协议，已经具备了实验研究的核心特征。

准实验（quasi-experiment）这一概念由Donald Campbell和Julian Stanley在1963年的经典著作中提出，指的是研究者能够操纵自变量但无法完全控制所有混淆变量或无法进行随机分组的实验设计。在ML模型比较的语境下，研究者可以控制训练-测试数据划分、特征集和评估指标，但无法控制数据本身的生成过程、算法内部的随机初始化（如神经网络的权重初始化、随机森林的特征子采样）等因素。正因如此，ML模型比较被归类为准实验而非真实验是更为准确的定位。

为何是"比较性"的？ 研究的核心目标就是横向对比三个模型，这天然属于比较研究（comparative study）。

为何是"实证"的？ 研究基于真实数据集、通过实际运行和测量得出结论，而非纯理论推导，因此属于经验性/实证性研究（empirical study）。

为何是"混合方法"的？ 性能维度用定量指标+统计检验，可解释性维度用定性分析（SHAP图解读+透明性标准），最终的trade-off分析又通过定性讨论整合两方面结果。这是典型的 mixed-methods 设计。

混合方法研究（Mixed Methods Research）作为一种独立的方法论范式，在20世纪末至21世纪初获得了学术界的广泛认可，John Creswell和Vicki Plano Clark的系列著作为其奠定了理论框架。其核心理念是：定量方法擅长回答"多少、多大程度"的问题，定性方法擅长回答"为什么、如何"的问题，二者结合能提供比单一方法更完整的研究图景。在传统分类中，混合方法有多种整合模式：汇聚式设计（定量与定性同步进行后整合）、解释性序贯设计（先定量后定性解释）和探索性序贯设计（先定性后定量验证）。本研究案例更接近汇聚式设计——性能的定量评估和可解释性的定性分析并行展开，最终在trade-off讨论中被整合。值得注意的是，混合方法在计算机科学和AI领域的显式应用仍然相对少见，大多数ML论文默认采用纯定量范式，这位本科生的研究能够自觉地融合两种方法论传统，反映了跨学科方法论意识的渗透。

重要提醒：区分"方法"与"设计"的层次关系

作者可能陷入的一个误区，是试图在"实验/比较/评估"这些标签中选出唯一正确答案。事实上，这些概念并非互斥——一项研究完全可以同时是比较的、实验的和实证的。研究设计的描述应当是分层且组合式的：顶层是"混合方法的比较实证研究"，其下包含"受控模型训练实验"和"基于SHAP的定性可解释性分析"两条子路径。

这种分层思维在方法论文献中有据可循。Saunders等人在《Research Methods for Business Students》中提出的"研究洋葱"（research onion）模型，将研究设计分解为哲学立场、方法论取向、策略选择、时间范围和技术手段等多个同心层次。每一层的选择不会限定其他层的选项，而是为整体设计提供不同维度的定位。对于ML研究而言，在最外层的哲学立场上通常属于实用主义（pragmatism），在策略层属于实验或准实验，在方法论取向上可以是定量、定性或混合——这些维度是正交的，不应被压缩为单一标签。

ML研究设计的方法论文献推荐

作者还希望获得专门针对ML研究设计（而非传统社科）的方法论文献。这里给出几个值得关注的方向：

• 实证软件工程与ML评估：可参考关于"empirical evaluation in machine learning"的方法论论述，这类文献专门讨论如何设计可复现、可比较的ML实验。特别值得关注的是实证软件工程（Empirical Software Engineering）领域的方法论积累——该领域在过去二十年间系统地解决了"如何在计算实验中应用严格的实证研究方法"这一问题，其经验对ML研究具有高度可迁移性。
• 可解释AI（XAI）评估框架：Doshi-Velez 与 Kim 关于可解释性评估分类的经典论述，为区分内在与事后可解释性提供了理论支撑。此外，Christoph Molnar的开源著作《Interpretable Machine Learning》提供了各类可解释性方法的系统性综述，对构建评估框架具有实用价值。
• 基准测试与统计检验：Demšar 关于"在多数据集上比较分类器"的统计检验方法论，正是Wilcoxon检验在ML中应用的理论依据。该论文不仅提供了具体的检验方法推荐，更重要的是论证了为什么ML领域需要从"看均值大小"转向"做统计推断"——这一思维转变对提升ML研究的科学严谨性至关重要。

结语：培养ML研究方法论意识的长期价值

这个案例的价值不仅在于回答一个分类问题，更在于它揭示了一个普遍现象：越来越多的ML研究者开始重视方法论的规范表述。

随着AI研究的成熟，仅仅"跑通模型、报告指标"已不足够。清晰地界定研究设计、明确定量与定性方法的分工、准确定位工具（如CRISP-DM）在研究中的角色，这些方法论意识正是区分"工程实践"与"学术研究"的关键。近年来，顶级ML会议（如NeurIPS、ICML）引入的可复现性检查清单（reproducibility checklist）和论文中对实验设计的详细报告要求，正是这种方法论规范化趋势的具体体现。ML社区正在逐步建立起属于自己的方法论规范体系——它既吸收了传统实证研究的严谨性要求，又适应了计算实验的独特特征。

对于本科乃至研究生阶段的ML学习者而言，培养这种意识的意义，可能不亚于掌握任何一个具体算法。一个能够清晰回答"我的研究属于什么类型、我为什么选择这些方法、我的结论在什么条件下成立"的研究者，其学术输出的可信度和影响力将显著高于仅能展示技术实现的同行。