别再删停用词了：一个继承的预处理默认如何扭曲法律文本数据分析

在计算法律学（empirical legal scholarship）研究中，越来越多学者把司法判决文本当作数据来分析。而这些研究大多仍依赖稀疏、可解释的分析流程——TF-IDF 特征加上线性分类器。原因很简单：在这类研究里，文本特征本身往往就是研究对象，而非仅仅是预测的手段。然而，这套流程继承了一连串来自上世纪中叶信息检索领域的预处理默认设置，而这些设置从未针对分类准确率被真正验证过。其中最根深蒂固的一环，就是停用词移除（stopword removal）。

一篇新发布的 arXiv 论文对这一「想当然」的做法发起了系统性挑战，其核心结论直截了当：在可解释的法律文本分析中，保留停用词才是正确的选择，删除它们反而可能扭曲研究本应捕捉的法理与意识形态信号。

被继承的默认设置为何值得怀疑

停用词移除是文本预处理中最常见的操作之一。像「the」「of」「and」这类高频功能词，通常被认为不携带主题信息，因此在建模前被直接剔除。这个习惯源自几十年前的信息检索系统——在那个存储和计算资源紧张的年代，删掉这些词能节省成本、简化索引。

问题在于，这条规则从诞生起就没有针对「分类准确率」这一下游目标做过严格验证，却被一代代研究者当作理所当然的起点沿用至今。论文作者敏锐地指出：一个悄悄改变模型「看到哪些特征」的步骤，在以特征本身为研究对象的法律文本分析里，可能带来严重的测量效度问题。换句话说，你以为自己在研究法官的意识形态倾向，但预处理可能已经把关键信号抹掉了。

TF-IDF（词频-逆文档频率）是这套传统流程的核心组件。它通过两个维度衡量词语的重要性：一是该词在单篇文档中出现的频率（TF），二是它在整个语料库中的稀缺程度（IDF）。一个词如果在某篇判决中频繁出现、但在所有判决中都很罕见，就会获得高权重——这正是「实质性内容词」的典型特征。停用词之所以被认为可以安全删除，正是因为它们在所有文档中普遍出现，IDF 值趋近于零，对最终权重的贡献极小。然而这一逻辑成立的前提是「我们关心的是主题信息」。当研究目标转向法官的论证风格、意识形态倾向或修辞模式时，功能词的分布差异本身就可能是信号——不同意识形态立场的法官可能在引用、转折、限定等语法结构上呈现系统性差异，而这些差异恰恰由「被忽视」的功能词承载。

一种「穷尽式单词消融」的方法

为了直接检验预处理步骤对下游目标的影响，论文提出了一种**穷尽式单词消融（exhaustive single-word ablation）**方法。它不再依赖专家凭经验编制停用词表，而是逐一移除约 18,500 个候选词中的每一个，直接测量其对分类结果的影响。

这种做法相当于逼近「任何专家所能构建的最优停用词表」的上限——如果连这个理论最优表都无法带来提升，那么任何实际使用的停用词表就更没有立足之地。作者选择停用词移除作为验证对象，正是因为它是「最难撼动」的默认设置，攻克它最具说服力。

研究使用了两个二分类任务作为测试场景，二者刚好覆盖了不同的 F1 提升空间：一是判断判决的意识形态方向（无移除基线 F1 约 0.68），二是区分宪法类与非宪法类法律（基线 F1 约 0.92）。数据来自将 Supreme Court Database 标签与 Caselaw Access Project 判决文本相匹配，两个任务分别涵盖 7,668 份和 7,001 份判决意见。

「消融研究」（ablation study）是机器学习领域常用的系统性评估方法，其核心思路是逐一移除模型的某个组件或输入特征，观察性能变化，从而量化该组件的实际贡献。这种方法原本常用于评估神经网络的各个模块，论文将其借鉴并扩展到预处理步骤的评估上。与通常只测试少数几种配置的消融实验不同，「穷尽式」消融意味着对候选集合中的每一个元素都单独进行测试，这在词汇规模达到数万级时计算开销相当可观，但同时也排除了「选择性验证」带来的确认偏误——研究者无法事先挑选可能支持自己结论的词语子集来测试。Supreme Court Database 是美国政治学领域积累数十年的司法数据库，包含最高法院自1791年以来案件的多维编码信息，其中包括判决的意识形态方向（进步/保守）；Caselaw Access Project 则由哈佛法学院主导，将数百万份美国法院判决全文数字化并开放获取，二者的匹配为大规模实证研究提供了少见的文本-标签对齐数据。

三个颠覆常识的发现

实验得出三个层层递进的结论，共同指向同一个方向：

其一，通用停用词表在每一次测试中都低于「不删除」的基线。 也就是说，研究者常用的现成停用词表不仅没帮上忙，反而拖累了分类表现。

其二，即便是经过优化的停用词表，也在统计上与「什么都不删」无法区分。 这意味着停用词移除在最理想情况下也带不来可测量的收益。

其三，基于词级特征训练的元模型（meta-model）无法预测哪些词该删。 这一点尤其关键——它说明停用词表的「精细调校」根本没有可瞄准的目标，人为curation无从下手。既然连算法都找不到规律，专家凭直觉编表就更是徒劳。

对法律文本研究的具体警示

论文强调，这套方法可以推广到任何被继承的预处理默认设置，而非仅限于停用词。但它给出的警示对可解释的法律文本数据分析尤其尖锐：一个静默改变模型可见特征的步骤，可能扭曲此类研究赖以存在的法理与意识形态信号。

在预测型 NLP 任务中，人们只关心最终准确率，预处理带来微小损失或许无伤大雅。但在以「文本特征即研究对象」的法律实证研究中，被删掉的功能词本身可能就承载着法官的表达风格、论证逻辑乃至立场倾向。删除它们，等于在研究开始前就污染了证据。

作者最后落脚于一句掷地有声的结论：「保留停用词是一个测量效度问题。」 这不再是效率或习惯的选择题，而是关乎研究结论是否可信的方法论底线。

「测量效度」（measurement validity）是社会科学研究方法论中的核心概念，指研究者实际测量到的内容是否真的对应其声称要研究的构念。在法律实证研究中，当学者声称自己在测量「司法意识形态」时，隐含的假设是：他们选择的文本特征能够可靠地反映法官的真实倾向，而非某种测量工具本身引入的人工产物。预处理操作是测量效度的一个潜在威胁来源——如果特征提取过程系统性地丢弃了某类信息，那么后续发现的「意识形态差异」可能只是特征选择的副产品，而非真实司法行为的反映。这一问题在可解释模型中尤为突出：研究者往往会直接解读高权重特征词的实质含义（例如「某类法官更频繁使用某词」），而如果预处理已经扭曲了特征集合，这类解读就失去了基础。

对研究者的实践意义

对于从事文本即数据（text-as-data）研究的学者，这篇论文提供了两点可直接落地的启示。

第一，不要盲目继承那些来历不明的预处理默认设置。任何会改变特征集合的步骤，都应当针对具体的下游目标做验证，而不是当作「行业标准」照搬。

第二，穷尽式消融提供了一种可复用的检验范式。当你无法确定某个预处理操作是否有益时，与其争论，不如直接测量它对目标指标的实际影响。在计算成本已大幅下降的今天，这种「逐一试错」的严谨做法已经变得可行。

这项研究提醒我们，方法论上的「常识」并不总是经得起推敲。尤其在把机器学习工具引入社会科学与法律研究时，每一个被视为理所当然的技术环节，都可能悄悄改变研究的最终结论。