DeepX宣称5W功耗下运行百亿参数大模型

DeepX 最近抛出一个引人注目的说法：在低于 5W 的功耗预算下完成最高 1000 亿参数模型的推理。消息在 Hacker News 上出现后，讨论热度不算高——只有 7 个 points 和 1 条评论——但这个数字本身足以让端侧 AI 的从业者停下来想一想：如果成立，它意味着什么？

一个功耗数字背后的野心

先把量级摆清楚。5W 大致相当于一部手机在中等负载下的整机功耗，或者一颗低功耗 IoT 芯片的热设计余量。把 100B 参数模型的推理塞进这个预算，和当前主流做法之间隔着相当大的距离——云端推理靠的是数百瓦级的加速卡，端侧能跑的多是十亿级以下的小模型。

DeepX 的说法如果站得住，指向的是一种完全不同的硬件路线：不是把大模型压缩到极致再去适配通用芯片，而是从芯片架构层面为低功耗推理做专门设计。这类思路在端侧 AI 芯片赛道并不新鲜，但把参数规模推到百亿量级，是宣称中最大胆的部分。需要注意，"低于 5W"和"最高 100B"是两个独立的边界条件，原文并没有说明它们是否在同一工况下同时成立——是 100B 模型跑在 5W 以内，还是不同配置下分别达到这两个极限，这个区别很关键，目前无法从有限的信息中确认。

端侧推理的现实约束

要判断这个宣称的可信度，得回到端侧推理的几个硬约束上。

内存带宽。大模型推理是典型的内存密集任务，每生成一个 token 都要把大量权重从存储搬到计算单元。参数规模上去之后，带宽需求会快速膨胀，而低功耗芯片的带宽预算通常很紧张。

能效比。功耗限制最终落在每瓦能完成多少有效计算上。近年在低功耗 NPU 上看到的能效提升确实显著，但从十亿级到百亿级，不是简单的线性外推。

量化与稀疏化。把百亿参数模型压进小内存、低带宽的硬件，几乎必然依赖激进的量化或稀疏化手段。这些手段对输出质量的影响，是评估这类宣称时绕不开的问题。

DeepX 没有在这个简短的宣称里给出这些维度的细节，这也是社区反应平淡的原因之一——一个孤立的功耗和参数量组合，缺少可验证的上下文。

MoE 架构。原文在待验证问题中提到了稠密模型与 MoE 的区别，这值得展开。MoE（混合专家）把模型拆成多个专家子网络，每个 token 只激活其中一小部分参数。这样一来，模型的总参数量可以很大，但单次推理实际参与计算的参数量小得多——100B 总参数、激活参数可能只有十几 B 甚至更少。对功耗和带宽受限的端侧硬件来说，这意味着“参数量”这个数字本身并不直接对应计算负载。宣称中的 100B 如果是 MoE 的总参数，其实际推理开销与稠密 100B 模型完全不在一个量级，两者的可信度评估标准也不一样。这也正是为什么追问模型结构，比只看参数规模更有意义。

量化精度。量化是把模型权重和激活值从高精度浮点（如 FP16）压缩到低精度表示（如 INT8、INT4 甚至更低）的技术，是端侧部署大模型的常规手段。精度越低，模型占用的内存和带宽需求越小，但输出质量的损失风险也越大。业界常见的 4bit 量化在大模型上已能保持较好效果，更激进的 2bit 及以下则往往需要配合专门的量化算法或混合精度策略。讨论“5W 跑 100B”时，量化到几位直接决定内存占用和带宽压力，是判断宣称可行性的关键变量之一，而这类信息在简短宣称中通常不会披露。

稀疏化。稀疏化指让模型权重或激活中相当比例的元素为零，从而跳过无效计算、降低功耗。它分为非结构化稀疏（零元素随机分布）和结构化稀疏（按通道、块等规则分布），后者对硬件更友好，因为通用或专用加速器更容易跳过整块的计算。稀疏化与量化常被叠加使用，以在有限的内存和带宽预算下容纳更大模型。但其代价是可能需要专门的训练或剪枝流程来维持精度，且实际加速效果高度依赖硬件是否原生支持稀疏计算——这一点在评估任何“低功耗跑大模型”的宣称时都应纳入考量。

对端侧 AI 格局的潜在影响

假设这个宣称在合理条件下成立，影响会落在几个层面。

最直接的是隐私敏感场景：数据不出设备就能跑百亿级模型，本地助手、本地文档处理这类应用的体验边界会被重新划定。其次是离线可用性，网络不稳定或完全离线的环境下，设备仍能提供接近云端的智能水平。再往远看，如果低功耗大模型推理成为现实，云端和端侧的算力分工会被重新协商——哪些任务必须上云，哪些可以留在本地，答案会不一样。

反过来说，这类宣称也需要放在行业惯常的节奏里看：芯片厂商在发布前用特定配置、特定模型、特定精度跑出的峰值数据，和开发者拿到手后的实际体验之间，往往存在差距。真正有说服力的，是第三方在标准 benchmark 上的复现，以及量产硬件上的稳定表现。

峰值数据与实测差距。芯片行业在发布前公布的性能数字，通常基于精心挑选的配置：特定模型、特定输入长度、特定精度，甚至特定的功耗测量口径（例如只计芯片功耗而非整机功耗）。开发者拿到硬件后面对的往往是更复杂的真实负载——更长的上下文、并发的任务、散热受限的持续运行。因此，业界评估这类宣称时，更看重标准 benchmark 上的第三方复现和量产设备上的持续性能表现，而非发布会上的峰值指标。这一惯例是理解本条宣称可信度的背景。

待验证的问题

围绕这个宣称，有几个问题值得持续关注：5W 功耗对应的具体模型配置和精度是什么；100B 参数是稠密模型还是 MoE 之类的稀疏结构；推理吞吐和延迟表现如何；以及最关键的——量产时间表和开发者可获取的形态。

DeepX 不是第一家宣称要在极低功耗下跑大模型的公司，端侧 AI 芯片这条赛道近年挤进了不少玩家，宣称与落地之间的落差也是常态。这个数字值得记下来，但在看到可复现的结果之前，把它当作一个待验证的方向而非既成事实，是更稳妥的态度。