因果推断模型怎么选？用A/A安慰剂测试避开估计偏差

在机器学习里，模型选择早已是成熟话题——交叉验证、留出集、各种评估指标一应俱全。但在因果推断（Causal Inference）领域，模型选择却常常被跳过。原因很直接：你永远看不到"真实效应"。治疗到底带来了多少增量？现实中没有平行宇宙可供对照。一位数据科学从业者在 Reddit 上分享了一套巧妙的验证方法，并用模拟实验揭示了不同因果模型之间惊人的精度差距。

用模拟数据制造"已知的真相"

要评判一个因果模型准不准，前提是得知道正确答案。作者的做法是自己生成数据：模拟了 40 个区域、横跨两年的每周预订量，其中 5 个区域在某个时间点（图中红色竖线）接受了"治疗"。因为数据是人为生成的，他清楚地知道地面真相——治疗让这 5 个区域的预订量恰好增加了 10%。

在 5 个处理组、35 个对照组的设定下，两种最自然的选择是合成控制法（Synthetic Control）和双重差分法（Difference-in-Differences, DiD），当然还有其他方法。关键问题来了：当你无法直接验证时，该信哪一个？

合成控制法（Synthetic Control Method） 由 Abadie、Diamond 和 Hainmueller 于 2010 年提出，核心思想是：用多个对照单元的加权组合，拟合出一个"如果治疗从未发生，处理组本应呈现的轨迹"，即反事实。权重由治疗前的数据拟合决定，目标是让合成控制在治疗前尽可能贴近处理组。相较于双重差分法，它不要求平行趋势假设，而是直接对每个处理单元单独构造匹配，因此在处理组数量较少（如本文中只有 5 个区域）而对照组数量较多的场景下，往往具有更好的适用性。其局限性在于当处理单元较多或对照组覆盖不充分时，拟合质量会下降。

Claude Code 的"翻车"：24% 对 10%

作者把这份数据完全交给 Claude Code 自由分析，结果颇具警示意义。Claude 围绕双重差分法搭建了整个分析流程，得出治疗带来了 24% 的增长——足足是真实效应（10%）的两倍多。

值得肯定的是，Claude 确实注意到了一个危险信号：处理组和对照组在治疗前的趋势并不平行（parallel trends 假设被违反，这是 DiD 成立的核心前提）。但它止步于此，从未进一步测试是否存在更准确的模型。更重要的是，Claude 完全跳过了一个关键步骤：A/A 测试（也叫安慰剂测试，placebo test）。

这恰恰印证了作者的观点：把模型选择做好，正是区分资深/高级数据科学家与初级从业者的分水岭之一。工具能跑出一个数字，但判断这个数字是否可信，需要方法论上的严谨。

平行趋势假设（Parallel Trends Assumption） 是双重差分法成立的核心前提：如果治疗从未发生，处理组和对照组的结果变量应当随时间以相同趋势变化。一旦这个假设被违反——比如处理组在治疗前就已经呈现出与对照组不同的增长斜率——DiD 估计出的效应就会把"原本就存在的趋势差异"误算为治疗本身的贡献，从而产生系统性偏误。这也是为什么 Claude Code 识别出"趋势不平行"之后，正确的下一步应该是切换到对该假设不那么敏感的方法（如合成控制法），而不是继续沿用 DiD 并报告结果。

A/A 测试：在没有真相的地方制造"零真相"

A/A 测试的思路非常聪明。你只取真实治疗发生之前的数据，假装治疗提前了三个月开始，并随机挑选 5 个区域假装它们是"处理组"。由于在这段时间窗口里什么都没真正发生，真实效应必然为零。

于是逻辑变得清晰：此时模型报告的任何非零效应，都是纯粹的估计误差。作者对每个模型重复了 500 次随机抽样，完整刻画出误差的分布范围。这等于给了你一把尺子，去量度模型在"本该毫无波澜"的场景下究竟会跑偏多远。

A/A 测试的名称来自 A/B 测试的类比：A/B 测试是比较两个不同版本的效果，而 A/A 测试是刻意让两组"完全相同"——在因果推断语境中，意味着人为制造一个"零处理效应"的场景。这一方法在统计学中又称安慰剂测试（Placebo Test），广泛用于检验估计量的零假设行为是否符合预期。通过反复随机抽样（本文中重复 500 次），可以得到误差的经验分布，进而计算 RMSE（均方根误差）等指标，作为比较不同模型估计稳定性的客观依据。这种方法的优雅之处在于，它完全不依赖对真实效应的任何假设，只需要你拥有足够长的治疗前历史数据。

结果对比：合成控制法明显更稳

实验数据相当有说服力：

• 双重差分法：90% 的安慰剂估计落在 -14% 到 +10% 之间，RMSE（估计值偏离真实答案零的典型距离）为 7.6 个百分点。
• 合成控制法（同样的安慰剂抽样）：90% 的估计收窄到 -7% 到 +9%，RMSE 降到 4.9 个百分点，比 DiD 低了超过三分之一。

作者还指出一个容易被忽视的细节：你建模的结果变量本身也是一个选择。他进一步把合成控制法应用在"每千人预订量"而非原始预订量上。把所有区域放在同一尺度上，能让模型在治疗前更紧密地追踪处理组，RMSE 再次下降到 4.4 个百分点。

回到真实治疗期：排名得到验证

最漂亮的收尾在于：安慰剂测试给出的模型排名，在真实治疗期得到了印证。

• 合成控制法（原始预订量）估计为 7%
• 合成控制法（每千人口径）估计为 9.6%
• 双重差分法估计为 24%

前两者都明显更接近真实的 10%，而 DiD 的偏差一目了然。

作者保持了难得的克制：仅凭一份模拟数据集，他不会过度解读两个合成控制版本之间的微小差距，也不会断言合成控制法"永远更优"。真正能迁移到实际工作中的，是这套工作流——现实里你永远看不到地面真相，但你几乎总能对候选模型先跑一轮 A/A 测试，再决定该信任哪一个。

给因果推断从业者的启示

这个案例有三层价值。第一，它提醒我们不要盲目信任 AI 工具的自动化分析：Claude Code 能识别假设被违反，却不会主动替你做模型选择和验证。第二，安慰剂测试提供了一种在"无真相"环境下量化模型误差的实操方法，成本低、可复现。第三，它凸显了一个被低估的决策——结果变量的选择（原始量 vs. 标准化量）同样会影响估计精度。

作者将代码（Colab）和讲解视频完全免费开放。对任何需要做实验评估或政策效应估计的团队来说，把 A/A 测试纳入标准流程，可能比纠结选哪个模型更重要。