research-ledger：让AI不骗自己的科研纪律工具

用多个AI模型做研究，最大的风险往往不是缺少灵感，而是欺骗自己。一位IT支持从业者把几个月踩过的坑写成了一套开源技能 research-ledger，试图给AI辅助研究装上"自欺检测器"。

四个自欺陷阱

作者白天做IT支持，晚上用Claude、GPT、Gemini、Grok等模型探索想法。几个月下来，产出的是大量想法和极少结果。他总结出四种典型的自我欺骗：

**模型之间的共识是假证据。**三个模型都说"这个联系成立"，感觉像证据，其实不是。它们共享大量训练数据，共识只能说明该去验算，而不是结论本身。

隐喻伪装成机制。"物理中的X就像学习中的Y"听起来深刻，但通常没人能写出真正迁移的那一步。

**阈值在结果之后移动。**0.62因为你想让它有希望，就变成了"promising"。

**"文献里没找到"变成"这是新发现"。**这句话描述的是你的搜索，不是世界。

多模型共识为何不是独立证据：当Claude、GPT、Gemini等模型给出相似判断时，直觉会把它当成多源验证。但这些模型都从大规模网页与书籍语料中学习，训练分布高度重叠，因此它们更可能共享同一批错误、偏见与流行说法。统计学上，这属于“相关证据”而非“独立证据”，其联合置信度远低于人们的主观感受。真正能提高置信度的是独立数据、可复现实验或形式化证明。把多模型一致当作“该去验算”的触发器，而不是“结论成立”的许可证，是避免自欺的第一道闸门。

技能做了什么

research-ledger 是一个MIT许可的 SKILL.md 文件夹，把任何能读取技能的助手变成有纪律的研究伙伴。流程从"筛子"开始：大多数想法五分钟内就会被一份简短清单淘汰，不需要任何文书工作。

活下来的想法进入翻译环节：每个隐喻必须变成可测量的测试，或者带证明目标的精确陈述。技能只问一个问题——机制还是主题？写不出迁移的方程或步骤，它就是主题，进台账而非实验。

先验检索要带范围。"未找到"必须和日期、检索词、最近来源一起记录，永远不能记成"新颖性"。

预注册要求预测、阈值、对照组和统计功效在运行之前冻结。在Git台账里，运行前推送一个独立的 PREREG 提交就是证明。

**试点不等于验证性测试。**试点可以调参数，但永远不给PASS。

盲测轮在里程碑节点触发：同一个种子发给来自不同实验室的两三个模型，在干净对话中进行，不携带项目上下文。

最终有五种判决：DEAD（错误、同义反复或被对照杀死）、LANDED（你重新发现了已知桥梁，这是校准不是失败）、BRIDGE CANDIDATE（已知部件、连接未找到、有新预测）、BRIDGE（只有通过验证性测试、盲测轮和独立检查后才成立）、EXPLANATION（已知机制解释了模式）。

台账只增不改，每个"不行"都保留，连同它说明了什么、它的教训在什么条件下成立。

预注册与Git提交在科研中的作用：预注册指在查看结果前，把假设、预测、阈值、对照组、统计功效和停止规则写死并公开。它的价值在于把“事后解释”与“事前预测”分开，防止阈值漂移、事后挑选和HARKing（结果已知后再提假设）。在Git台账里，运行前单独推送一个PREREG提交，相当于给时间线加盖可信时间戳：任何人可核对预测是否先于数据。这与临床试验、心理学复现危机后推广的注册报告制度同源，本质是用流程约束人性中的确认偏误。

盲测轮与跨实验室审查：盲测轮指在里程碑节点，把同一问题种子发给来自不同实验室、不同厂商的模型，在干净对话中进行，不携带项目上下文。这样做的目的是剥离作者自己的框架、术语和预期，让模型以独立视角作答。跨实验室审查则引入不同训练来源的模型互查，减少单一模型家族的系统性盲点。但盲测轮只能移除作者上下文，无法消除模型共享的训练数据；因此它适合发现“作者偏见”，不适合证明“世界级新颖性”。

规则从哪来

每条规则都是伤疤。作者自己的日志里大约有四十个编号实验，涉及玩具量子模型、组合数学、小型神经网络和物理常数数字学。

**"零误差"可能毫无意义。**一个模型用0.0000的误差复现了一组测量比值。然后他们跑了伪造对照：随机"假"目标比值。约3700个公式"钥匙"能拟合真实数字，同样多的也能拟合假数字。拟合是空的。这变成了"锁泄漏"检查。

**翻译器会插入它已知的东西。**把边缘和业余文本喂给模型找主流遗漏的想法，大多数"洞见"其实只是模型把文本翻译成已知概念。幸存的8个里有6个是业余者重新发现的已知科学。规则由此而来：每个剩余项在与其他东西结合之前，先对照文献。

**无法与处理组不同的对照组证明不了任何事。**在一次持续学习测试中，"噪声对照"在代数上与处理组完全相同，测试没有任何功效。现在的规则是：冻结前写清楚，为什么对照组和处理组在构造上不可能重合。

**等强度掩盖一切。**几个效应只在所有组件权重相同时成立，遇到重尾权重就消失。现在的规则是：永远用重尾重测。

盲测轮的种子风格来自对 openai/math 中已发布问题提示的研究：它们说"证明或反驳"，从不写"展示"；明确固定约定，列出设定中"没有"什么，不给方法提示，不用类比。

“锁泄漏”检查与伪造对照：数字学或公式拟合中，模型可能找到大量能拟合真实数据的公式“钥匙”。为判断这些拟合是否有信息量，作者构造随机“假”目标比值作为伪造对照。结果约3700个公式既能拟合真实数字，也能拟合假数字，说明拟合是空的。这一逻辑与统计学的零分布、置换检验和随机对照同构：如果方法与随机数据产生同样好的结果，它就没有捕获真实结构。所谓“锁泄漏”，即钥匙太多、锁太松，任何东西都能打开，因此不构成证据。

它抓住了什么

**多数想法会死，这正是方法在起作用。**台账里大部分是DEAD和LANDED条目。一堆LANDED判决自有其价值：它衡量的是翻译器已知什么，而不是朝新发现前进了多少。

**一次干净的击杀。**有个想法把局部学习规则（无反向传播）和"选择性"结合：只有匹配输入的单元才更新。他们预注册了击杀标准和强对照（固定随机特征的果蝇嗅觉模型）。结果：选择性规则让单元沉默并饿死，学得比更新随机单元还差；学习特征大幅优于固定随机特征，即使16倍宽的随机模型也落后；无门控的普通反馈对齐和有门控版本表现一样。这个想法在一般意义上未被反驳，但在那个设定下毫无贡献，于是被记录在案，连同适用条件。

**跨实验室审查能抓住不同的东西，有时抓住审查者自己。**作者把方法用在一个副项目上：从 openai/math 的719份手稿中提取可机读的证明技术图谱。40个提取出的"签名"由Claude和Grok用冻结的评分标准盲审。

Grok第一次尝试：40个里40个"OK"，每个理由字段都是空的，用他自己的话说叫"抽查"。它漏掉了一个客观错误——源文写的是1，它却给出多重性0。这次审查被标记为无效，而不是"分歧"。

Grok第二次尝试，要求每个"OK"都必须引用源文，分四批每批十个：这才是一次真正的审查。

两个审查者在40项中的35项上一致。各自抓住了对方漏掉的东西：Claude对缺失前提更严格，Grok抓到一个从引用范围外行数取来的断言。最终两人都通过了40个签名中的32个（80%，95%区间65–90%）。早先的10个中6个，区间是31–83%，几乎什么都没告诉研究者。

教训直接进入方法：审查需要证据证明审查者真的读了源文，并且要植入它必须抓到的错误条目。

**测试在被污染前就注册。**为图谱冻结了两个来自开放学习理论问题的"需求"，在任何人带着它们搜索图谱之前。测试让图谱和普通grep在同一语料上对抗，配有盲评者。作者自己的赌注写在预注册里：最可能是"未确定"。

诚实的限制

这套方法减少自欺，但不产生发现。盲测轮移除的是作者自己的上下文，不是模型共享的训练数据。检查项来自一段特定历史，每一项都标注了它的适用条件，技能要求你评估它对你的问题是否有用，而不是盲目套用。

试用方式

git clone https://github.com/Freeky7819/research-ledger
cp -r research-ledger/research-ledger ~/.claude/skills/

它也能在Claude.ai（上传压缩文件夹）和Codex（文件夹包含 agents/openai.yaml）里工作。然后直接对话："这里有个想法……"、"评估这篇论文"、"这个测试给了0.62，现在怎么办？"、"为这个写一个盲测轮种子"。

如果某条规则对你不适用，带着案例开一个issue。这正是台账存在的意义。

作者披露：技能、实验和这篇文章是与AI模型共同开发的（主要是Claude，也有GPT、Gemini和Grok）。问题和想法是他的，大部分代码和不少措辞是它们写的。