11小时推理模型实战课：小模型如何学会思考

机器学习作者 Sebastian Raschka 发布了一套超过 11 小时的视频课程，演示如何把一个小到能在笔记本电脑上运行的模型训练成推理模型。这套课程与他的书《Build a Reasoning Model from Scratch》配套，在 Hacker News 上引发了对“个人能否玩转机器学习”的激烈讨论。

什么是推理模型？从评分器到奖励信号

Raschka 给出的定义很直接：推理模型就是经过额外训练的普通大语言模型，训练奖励的是那些程序可以自动检查的答案。换句话说，模型不是靠人类打分学会推理，而是靠一个能判断对错的检查器。

课程的路径设计得很务实。早期视频加载一个已经预训练好的小模型，然后搭建一个评分器，用它批改模型在 500 道数学题上的答案。后续视频先尝试更便宜的技巧，比如让模型多次作答再取多数投票。然后，同一个评分器变成训练时的奖励来源，小模型从自己做对的数学题中学习。最后一个视频里，小模型向一个更大的教师模型学习，复制 DeepSeek^广告 R1 写出的答案。

说个细节硬件门槛。早期示例在普通处理器上就能跑，但训练实验在显卡上才更实际。这也是 HN 讨论中最扎心的部分。

可验证奖励与 RLVR

Raschka 所说的“程序可以自动检查的答案”，在强化学习语境中对应的是可验证奖励（verifiable reward）。这类奖励不依赖人类偏好打分，而是来自一个确定性程序：数学题比对最终数值，代码题运行单元测试，形式化证明交给定理证明器检查。以可验证奖励为信号的强化学习常被简称为 RLVR（Reinforcement Learning with Verifiable Rewards），它是 DeepSeek R1、OpenAI o 系列等推理模型训练流程中的关键一环。

RLVR 的价值在于绕开了昂贵且有噪声的人类标注：只要检查器写得对，奖励信号就是客观的。代价是它只能覆盖答案能被机器判定的任务，开放写作、策略建议这类问题难以套用。这也解释了课程为何选择数学题作为训练场——评分器可以廉价地批量运行数千次。

多数投票与知识蒸馏

课程中“让模型多次作答再取多数投票”的技巧称为 自洽性（self-consistency）：对同一问题采样多条推理路径，取出现频率最高的答案。它不需要任何训练，只消耗推理算力，常被当作强化学习之前的低成本基线。

最后一个视频演示的则是知识蒸馏（knowledge distillation）：让小模型去拟合大教师模型（如 DeepSeek R1）生成的答案分布。与强化学习不同，蒸馏不要求答案可被检查器判定，模型学的是教师的输出风格与推理轨迹，因此能以较低算力把大模型的部分能力迁移到小模型上。

HN 热议：软件可以白手起家，机器学习不行

一位在家折腾的读者说，机器学习课程总给人“一小步一小步”的感觉，真正实践需要的算力远超他手头的设备。一条回复点出了关键差异：在软件领域，一个聪明的头脑加一台便宜笔记本就够了，但机器学习更像生物学或法律——你得有实验条件。

另一位业余爱好者印证了这点：他几乎可以免费构建任何新软件，但运行训练好的模型需要他买不起的硬件。也有人给出更乐观的路径，指向已经能用的小项目，比如有人做了一个分类器来自动整理银行账单用于预算，并强调“你不需要在所有事情上都用最好的模型”。

还有读者质疑课程受众，怀疑这是“个人品牌的变现策略”。但一位工作中训练模型的读者表示，Raschka 之前的书教给他的东西比任何其他来源都多。质疑者承认这是有力的反驳，但仍保留疑虑。这场讨论最终指向一个现实：入门材料易得，持续实验的算力才是分水岭。

法律科技的“Git 时刻”：给美国法典做版本控制

另一个引发关注的项目来自法律科技公司 LexFina。他们重放了美国法典九个标题自 2017 年以来的每一次国会修正，做出了一个可以查看任何日期法律条文原貌的系统。

其核心论点很有程序员味道：程序员能看到每一行代码是谁在什么时候写的，而律师只能在每个条款脚下的散文式注释里翻找。LexFina 举的例子是小企业破产的债务上限——国会自 2019 年以来反复提高、任其失效、又恢复。更高的上限在 2022 年 3 月失效，三个月后国会为已经立案的案件恢复了它。因此对于中间立案的案件，当时印刷的法典显示较低上限，只有后续法律才改变答案。

构建方法也类似版本控制：按日期顺序把每项法律的修正指令应用到旧文本上，再与下一版官方版本比对。公司自己的检查显示，365 处变更中有 361 处完全匹配。页面还用颜色标出每个短语是由哪部法律写入的。

这件事的意义在于法律检索正越来越多地交给 AI 模型。LexFina 引用的一项研究发现，这些模型经常套用已经被替换的规则。HN 上的讨论从法典延伸到法案，有人引用 2007 年《纽约时报》的专栏，希望版本控制能显示每位议员在每处变更中塞进了什么。一位读者回应说，提交作者会是众议院立法顾问办公室——那些起草法案的无党派律师。

但也有前法律数据从业者指出，律师们早已为此向 LexisNexis、Thomson Reuters 支付高昂费用，因为案件胜负取决于当时的法律。他举了 2002 年竞选财务法的例子，并提醒文本差异不等于法律含义的变化。

美国法典的编纂结构

美国法典（United States Code）并非一部由国会一次性通过的单一法律，而是把历年来散落在《 Statutes at Large 》中的公法按主题汇编成的 54 个“标题”（Title），例如 Title 11 是破产法、Title 26 是税法。国会通过新法时，通常不会重印整个标题，而是给出一段修正指令，指明“将某标题某节某款中的某句替换为某句”。

这意味着法典文本是一层层的补丁叠加出来的，任何一版的印刷文本都只反映截至该日期的补丁状态。LexFina 的做法正是把每条修正指令按时间顺序回放，从而复原任意历史时点的文本——这类似于在 Git 中按提交顺序重放 diff。也正因如此，同一案件在立案时适用的条文可能与判决时不同，律师必须确认“当时有效的文本”，而不只是最新版本。

你的点赞，可能让整段对话进入训练集

Anthropic 八月的一份隐私页面给出了一个容易被忽略的细节：在 Claude 商业产品（如 Claude for Work 和 API）中，一次点赞或点踩会存储整段对话最多五年，并可能用于训练模型。报告 bug 的效果与按赞踩按钮相同。

存储记录包括聊天内容、自定义样式和模型设置。通过连接器引入的文件（如 Google Drive）不会被纳入，除非有人把它粘贴进对话。每段被存储的对话在使用前会与用户和客户 ID 脱钩，也不会与该用户的其他对话关联。只有团队和企业计划的所有者可以为员工关闭赞踩按钮。免费、Pro 和 Max 计划的单独页面也规定了同样的五年规则；在这些计划中，当用户开启模型改进或对话被标记为安全审查时，对话也会进入训练。

HN 上的争议集中在一个边界案例：关闭 Claude Code 的会话调查是否也算反馈。一位博主担心算，另一位读者斥为猜测。博主举出亲身经历——他按零关闭调查，Claude Code 却感谢他帮助改进模型。随后有人引用 Claude Code 的数据政策，称回答调查（包括关闭）只记录评分、不存储对话记录。博主回应说该政策页面在他发文约六周后才出现，这让他对 Anthropic 感觉好了一些。

更实质的批评来自一位对企业计划有更高期待的读者：Anthropic 本可以只保留细节，比如哪个模型作答，而不保留对话本身。反驳意见认为这种元数据没用，因为判断一个坏答案需要同时看到问题和答案。

反馈数据与训练数据边界

赞踩按钮产生的数据在业界通常被称为反馈数据（feedback data），它与日常对话日志是两套不同的采集通道。反馈数据的特殊之处在于自带偏好标签——同一段对话被点赞或被点踩，构成了一组可比较的正负样本，可直接用于**基于人类反馈的强化学习（RLHF）**或偏好优化。这也是厂商愿意为它保留更长周期的原因：普通日志的价值随时间衰减，而带标签的偏好样本可以反复用于后续模型迭代。

“与用户和客户 ID 脱钩”属于**去标识化（de-identification）**处理，它降低了数据与具体个人关联的风险，但并不等于匿名化——对话内容本身仍可能包含可识别信息。这正是 HN 讨论中“只保留元数据行不行”的分歧所在：元数据足以定位是哪次交互，却不足以判断答案好坏，所以厂商倾向于连同问答原文一起保留。

评测的盲区：车主比评测者更在意可靠性

BetaScore 一项基于公开评论的研究发现，Reddit 上的产品拥有者提到可靠性的频率大约是 YouTube 评测者的两倍。他们的解释是时间差：评测覆盖最初几周，而大多数故障在几个月后才出现。

研究用 AI 模型标注了 14 类产品中的数千条意见，并按主题分类。可靠性和支持占拥有者意见的 17%。除网球发球机外，拥有者在每个品类中都更常提及可靠性。自清洁猫砂盆的差距尤其明显（尽管样本较小），拥有者主要描述故障和更换等待时间。当拥有者提到可靠性时，大多数内容是负面的，而评测者的负面意见约为七分之一——不过拥有者本来就更倾向于在出问题时发帖。

HN 上一位 Kia Telluride 车主的故事很有代表性：他根据热烈评测购入，但该车型太新，没有多年数据支撑。到 7 万英里时，交流发电机等昂贵部件开始准时出故障。维修是第二个问题，即使小事故也会带来 1 万到 2 万美元的账单。保险赔付了，但车在修理厂一待就是很久。回复者将部分原因归于现代汽车密集的传感器和溃缩区，以及零件和喷漆人工成本。也有人推荐丰田作为稳妥选择，随即被另一位读者用亲戚的 RAV4 Prime 反驳——仪表盘黑屏后，那辆车停摆了四个多月。

幸存者偏差与时间窗偏差

BetaScore 观察到的差距，部分是两种统计偏差叠加的结果。其一是时间窗偏差：评测集中在新品发布后的数周，而故障率通常遵循浴盆曲线，早期故障率低，磨损期故障要几个月甚至几年才显现，因此评测样本天然缺失长期数据。其二是幸存者偏差的反向版本：拥有者往往在出问题时才发帖，满意者沉默，这使得拥有者意见中的负面比例被放大。

这两个偏差方向相反，意味着“拥有者提及可靠性是评测者两倍”这一结论不能简单读成“产品比评测更不可靠”。更稳妥的解读是：评测擅长捕捉开箱体验与设计优劣，而长期可靠性只能由使用时长足够的数据源提供，这也是消费者报告、车龄统计等长期跟踪数据在耐用消费品领域仍不可替代的原因。

几个值得记住的信号

这五条 HN 热帖看似分散，却共享一个主题：当系统变得复杂，理解它的历史、训练过程和真实使用反馈，比看表面结果更重要。推理模型需要可验证的奖励信号，法律文本需要带日期的版本历史，AI 产品需要透明的数据边界，而产品可靠性需要时间才能显现。对开发者和用户来说，这些都是做出更好判断的前提。