大模型价格暴跌80%：开源本地AI正在改写行业规则

OpenAI 和 Anthropic 在短短几个月内将大语言模型价格下调了高达 80%,这不是一次普通的促销,而是整个 AI 产业经济结构变化的信号。同时,IBM CEO Arvind Krishna 公开表示,开源权重模型已经足够好用——性能达到前沿模型的 90%,token 价格却只有后者的 10%。两条消息放在一起看,前沿 AI 的门槛正在被重新定义。

价格战背后:云厂商的补贴与本地部署的崛起

据科技播客 Daily Tech Digest 的梳理,这轮降价直接改变了企业和开发者使用前沿模型的方式。讨论中最有信息量的部分来自社区对"便宜"的拆解:有评论者从宏观经济学角度指出,当前主流 AI 订阅的低价很可能由各家公司在补贴,价格未必反映真实成本。

这就引出了另一个被反复讨论的对比——本地开源权重模型与专有云服务之间的取舍。支持本地部署的一方强调,自托管模型意味着彻底摆脱云厂商的内容过滤和任意封禁;反对者则用实际运维经验提醒,复杂的本地环境并不总是比云服务便宜。据 B站与 YouTube 多位技术博主的交叉讨论,共识在于:选择本地还是云端,取决于隐私需求、团队工程能力和使用规模,而非单纯的价格标签。

“开源权重模型”（open-weight models）指的是模型参数（权重）公开可下载、可自行部署和微调的模型，例如 Llama、Mistral、Qwen 等系列。它与“开源”在严格软件意义上的概念并不完全等同：权重公开不等于训练数据、训练代码或完整训练流程公开，因此许可证往往附带使用限制。开源权重模型的核心价值在于部署自主权——企业可以在自己的基础设施上运行推理，数据不出内网，也不受云端服务条款中内容审核策略的约束。IBM 的 Granite 系列即属于此类。正因权重可获取，第三方才能以接近成本价提供推理服务，这也是其 token 价格能显著低于专有前沿模型的结构性原因。

IBM 的算盘:90% 性能、10% 价格的 enterprise 叙事

Krishna 的表态值得细读。他给出的数字是:开源权重模型达到前沿模型 90% 的性能,成本仅为 token 价格的 10%。但他同时承认,企业真正的障碍不是硬件,而是运维复杂度——网络邻近性管理和专业工程人才的缺口。IBM 的应对方式是推出新的部署软件,并预期其大型机加速卡需求上升。

社区对此的反应分为两派。一派用第一手经验证实本地部署确实可行,但给出了挑战"本地一定更便宜"的具体指标;另一派则强调本地模型带来的自由——没有内容过滤,没有平台方的随意封禁。还有评论者进一步降低了门槛认知,指出高质量推理并不需要文章里描述的多机架高端硬件。

上下文工程:窗口再大也治不好"模型不聪明"

一篇题为 The State of Context Engineering 的文章提出了一个反直觉的观点:即使上下文窗口大幅扩张,挑战依然存在,因为模型没有意识。作者归纳了四种失效模式——上下文投毒、分心、混淆和冲突,并用一个案例说明:模型会把训练权重中无关的细节错误地"投毒"进上下文。

讨论区的补充很有价值。有评论者引入"依存长度最小化"概念,主张把相关内容聚在一起以缩短依赖距离;有人提出把每条消息压缩成一行、再用二叉树组织摘要的架构方案;还有一条前瞻性观点认为,下一个大问题是"策略性遗忘"——完美记忆本身就是缺陷。这些观点大多来自单一来源,但方向一致:上下文的质量与组织方式,比长度更关键。

上下文窗口指模型单次推理时能够读取的 token 总量，包括系统提示、对话历史、检索到的文档和工具返回结果。早期模型窗口通常只有 4K 至 8K token，如今主流模型已扩展到 128K 乃至百万级。然而窗口扩大并不等于有效利用：注意力机制在长序列上会出现“中间遗忘”（lost in the middle）现象，即位于上下文中段的信息更容易被忽略；同时，长上下文会显著增加推理延迟与成本。因此上下文工程关注的不是“能塞多少”，而是“该放什么、按什么顺序放、如何压缩与组织”，这与文章提到的依存长度最小化、逐条压缩摘要等思路直接相关。

从 11 小时课程到创意扩展:AI 工具链的两端

Sebastian Roschka 发布了一门 11 小时的视频课程,讲解如何用 Python 和 PyTorch 从零构建推理模型,覆盖评估、强化学习、推理时扩展和蒸馏等技术,并配套同名书籍。他明确区分了概念:推理模型是更大 AI agent harness 中的核心引擎。评论者对教学效果评价很高,但也有人质疑视频课程是否足以支撑严肃的模型开发,以及它是否只是变现手段。一位评论者点出了自学者最真实的困境:在学术和企业之外,很难找到不依赖大规模算力、又不过度理论化的实践路径。

另一端是创意项目 Overgrown——一个给 Chrome 标签页做"数字荒废"的扩展。你长期不看的标签页会长出植物,过度生长后会被藤蔓封死,必须用选定的武器砍开才能重新访问。社区在会心一笑之后迅速转向严肃讨论:标签囤积本质上是临时书签和视觉提醒,这个扩展有趣,但没有解决认知负荷问题。有评论者晒出自己在多台机器上累计 12000 个标签页的经历,直指浏览器并非为这种规模设计。

推理模型（reasoning model）指在生成最终答案前会先产生较长的内部思维链、并通过强化学习或推理时扩展（test-time scaling）来提升复杂任务表现的模型，如 OpenAI 的 o 系列、DeepSeek^广告-R1 等。它与传统“直接续写”式模型的关键区别在于：推理过程本身消耗额外 token 与算力，换来数学、代码和多步规划上的准确率提升。“agent harness”则指围绕模型构建的外层系统，负责工具调用、循环控制、记忆管理和错误重试，模型只是其中的决策引擎。Roschka 课程所讲的从零构建，正是要让学习者理解这一整套推理与调度机制，而不只是调用 API。

硬件与语言:小众项目的现实检验

模块化键盘项目把每个按键做成 1U PCB,搭载 CH32V003 RISC-V 微控制器,主板用 STM32WB55RGV6 负责蓝牙和 USB,按键通过 pogo pin 供电并以 I2C 通信。单键成本约 8 到 10 美元,固件仍在开发。讨论集中在可扩展性:I2C 总线的限制、方向无关连接器的缺失,以及如何支持分列和交错的人体工学布局。

Faro 14 的发布则引发了另一种讨论。这门纯面向对象的动态语言本次更新聚焦开发工具现代化、重构与命令基础设施重建以及虚拟机升级,新增 RISC-V JIT 支持。有评论者提出,在 AI 编程时代,语言选择对"把活干完"变得不那么重要;也有人认为 Faro 的动态特性恰好适合 agent 辅助开发,让智能体可以直接操作运行中的程序。

旧日回响与新的分歧

节目还回顾了早期科技创业文化,讨论者对比了过去的协作氛围与今天层层的利益相关者和自上而下的管理,也有人给出更冷静的判断:从做酷技术转向追求财务成功,是技术成熟不可避免的阶段。

说个细节 F-Zero X 反编译项目移植到 3DS 的复盘。项目分两阶段:先是用 24 天在新 3DS 上实现原生 60fps 立体赛车,随后用 43 天支持旧 3DS 和 64DD 扩展包,最终从单一源码树产出三个主机版本。新 3DS 上帧率中位数为 59.6fps。争议点在于 AI 的使用:一方强调 AI 工具带来巨大生产力提升,API token 成本略低于 5000 美元,估计相当于数十万美元的人力;另一方则指出项目声称的限制并不成立,调试工具在早前版本中就已可用。

这些故事拼在一起,指向同一件事:AI 正在同时压低成本和抬高期待,而真正决定成败的,仍是工程判断与对问题本质的理解。