治AI编数据的病：74项测试管住的数据分析Skill

AI做数据分析，最大的事故不是算得慢，而是编得像。模型把数字编得工工整整，图表画得漂漂亮亮，结论写得头头是道，每一层看着都对，就是整个是假的。GitHub上一个叫 Data Analysis School 的小项目，专门来治这个病——作者是数据分析UP主「小马学数分」。项目体量不大，30多颗星，但工程纪律重得吓人：74项回归测试、证据分级门禁、表内对账，外加一道叫 GrillMe 的反问门禁。它回答了一个所有人都会碰到的问题：怎么让AI分析数据的时候，不许编。

它到底是什么

本质上，这是一个装在 Codex 里的数据分析技能（skill）。你上传 Excel 或 CSV，用大白话提一个问题，比如「这份数据里支付成功率为什么下降」，它会自主识别你的决策意图，选择分析方法组合，写代码计算，最后交付一份离线的 HTML 报告。

能力矩阵覆盖16项，几乎是数据分析师日常的全景：异动定位、漏斗分析、指标体系、AB实验（连 CUPED 方差缩减都有）、因果推断、用户分层（RFM 8段标签）、贡献度与比率拆解、6种模型的渠道归因（Shapley 也在列）、同期群留存、生存分析、路径分析、价格弹性、断点检测、多重比较校正。这不是玩具，而是一份数据分析方法论的全家桶。

它还内置11套行业口径模板，从零售电商到金融游戏，每套都写明了适用信号、KPI定义、常见数据陷阱和降级路径。换句话说，它把行业经验也编码进了流程。

CUPED（Controlled-experiment Using Pre-Experiment Data） 是微软研究院提出的 A/B 实验方差缩减技术。其原理是利用实验前的历史数据作为协变量，通过回归去除个体间固有差异带来的噪声，从而在不增加样本量的情况下提升统计检验的灵敏度。简单理解：同样的样本量，加了 CUPED 之后检测到真实效应的把握度更高，或者达到同等把握度所需的实验周期更短。在电商、游戏等需要快速迭代的场景里，这能显著压缩实验成本。

Shapley 值源自合作博弈论，用于公平分配多个「贡献者」的联合产出。在渠道归因场景中，用户转化前往往经历多个触点（搜索广告→信息流→私域推送），Shapley 归因通过枚举所有渠道排列组合的边际贡献并取平均，给每个渠道分配一个理论上公平的转化功劳，避免了「最后点击」归因天然偏向末端渠道的问题。计算复杂度随渠道数指数增长，实际工程中通常采用蒙特卡洛近似。

灵魂四个字：证据优先

这个项目的灵魂，就是「证据优先」四个字。它靠三招把这件事落地。

第一招是表内对账。如果你的表格里有合计行、小计行，它会先用一个 reconcile 脚本，拿表格自带的校验和去交叉验证每一条明细，对不上就不放行，退出码可以直接当流水线闸门用。用你自己的表验你自己的数，这是最朴素也最硬的真实性检查。

第二招是结论分级。所有结论按 L0 到 L4 分证据层级，「相关不等于因果」写进了铁律。无法验证的解释只能写成「启发性候选」或「带验证假设」，不许冒充根因。

第三招是发布前的真实性校验（verify）。报告里每个数字必须绑定到具体的证据条目，方向和符号要一致。最狠的一条：L2 以上的因果措辞如果缺少对应证据，直接判失败。

L0 到 L4 的证据分级体系借鉴了循证医学（EBM）的证据金字塔思想。在医学领域，随机对照试验（RCT）的证据强度高于观察性研究，观察性研究又高于专家意见。数据分析中的类比层级大致如下：L0 为原始数据直接读数（最强），L1 为描述性统计与聚合计算，L2 为相关性与趋势推断，L3 为基于观察数据的因果假设，L4 为无数据支撑的定性猜测（最弱）。将「相关不等于因果」写入铁律，并规定 L2 以上因果措辞必须绑定对应证据，本质上是在用结构化规则强制执行分析师职业训练中最难内化的认知纪律——区分「数据显示了什么」和「我们认为发生了什么」。

两道硬门禁：不猜着开工

真正让它跟普通分析工具拉开差距的，是两道硬门禁。

第一道叫 GrillMe（考我问询）。你的问题要是模糊的——比如「帮我看看这个数据」——它必须先反问你，问清楚再动手。反问那一轮不生成报告，停下来等你回答。只有你明确说「直接分析」，才允许带着默认假设继续。宁可不开工，不猜着开工。

第二道是独立角色门禁。凡是涉及「为什么」「什么原因」的解释类问题，必须跑四个独立角色：Locator（定位）、Mechanism（找机制）、Falsifier（证伪）、Reviewer（终审）。前三个并行派发，Reviewer 最后收口，四个缺一不可发布。

这里最值得停下来的是 Falsifier——专门雇一个 agent 来推翻前面的结论，把科学方法里的证伪义务直接内置成流程。而且执行留痕：每次运行写 execution.json，标明用的是原生 subagent 还是串行降级，降级了也要写明原因，绝不伪造并行。

Falsifier 角色的设计直接对应科学哲学中卡尔·波普尔的可证伪性原则：一个解释如果无法被任何证据推翻，它就不是科学结论，只是叙事。在实际数据分析中，模型（无论是 AI 还是人）天然倾向于「确认偏误」——找到一个能自圆其说的解释后便停止搜寻反例。Falsifier 的职责恰好相反：它接收前两个角色的结论，专门寻找逻辑漏洞、替代解释和数据反例，迫使最终结论必须经过「反驳压力测试」才能发布。这种设计在 agent 系统中尤为珍贵，因为 LLM 的生成机制本就偏向流畅连贯的叙事而非自我怀疑。把证伪义务从人工审核环节前置为自动化流程，是这个项目最具方法论价值的工程决策。

交付环节：禁止动画的报告

交付环节同样讲究。模型只写紧凑的规格 JSON，HTML 和图表由单独的渲染器生成，做到内容与样式分离。

有个细节妙到值得单独讲：报告禁止数值几何动画，条形不许生长，数字不许滚动跳变。为什么？因为动画在截图、打印、后台标签页里会冻结成错误的读数。为了「任何时候截屏都不会截到错数」这个保证，它宁可牺牲炫酷效果。

上下文管理也做得极致。技能主文件常驻只有4000出头 token，配了一张「哪一步读哪个文件」的加载表，方法包和行业模板明确禁止整体加载。token 省了是一方面，更重要的是模型不会被无关内容稀释注意力。

工程质量的三个证据

它的工程纪律不是口号，有三个硬证据。

其一，74项回归测试，覆盖三个 Python 版本的 CI，案例报告做逐字节渲染比对——渲染器改动一个像素，测试就报警。

其二，README 里的 token 数字是可复算的，专门配了测量脚本，谁都可以跑一遍验证。

其三，案例用真实数据：UCI 的英国零售商公开数据集，从数据构建到运行工件到结论全在仓库里。那个案例的结论标题本身就展示了项目的气质——「11月的旺季是季节性，12月的断崖是截断加一笔取消订单」。不制造戏剧性结论，数据是什么就说什么。

三点判断

赛道选对了。 AI数据分析的竞争点，已经从「会不会算」转向「敢不敢信」。这个项目的全部设计——对账、分级、证伪、留痕——都在给「敢不敢信」交答卷。工具不说自己做不到的话，这是一种难得的工程诚实。

Falsifier 值得所有做 agent 系统的人抄。 让 AI 自己证伪自己，比让人审便宜一百倍，比不审可靠一百倍。凡是输出结论的 agent，都该配一个专职唱反调的角色。

冷水照例三盆。 一是非商用许可（Polyform Noncommercial），公司里用得先拿授权，这会挡住不少团队；二是它是 Codex 生态的技能，换别的 agent 得自己迁移；三是最根本的——skill 是护栏不是引擎，分析质量的上限仍取决于背后的模型，门禁只能保证不胡说，不能保证洞察深刻。

想试的话，GitHub 搜 xiaomaxueshufen-dataanalysis，在 Codex 里一句话就能装上，传个 Excel 提个问题就能跑。

带走一句话：判断一个 AI 分析工具靠不靠谱，别看它图画得多漂亮，看它在数对不上的时候，会不会停下来。