Llmspeed：买硬件前先测本地LLM跑速

想在自己电脑上跑大语言模型，最常遇到的问题不是模型不会装，而是：我这台机器到底跑得动多大的模型？能多快？ 有人咬牙升级显卡，回家才发现目标模型依旧卡成幻灯片。Hacker News 上出现的开源项目 Llmspeed，就是冲着这个痛点来的——在你掏钱买硬件之前，先感受本地 LLM 的实际运行速度。

Llmspeed 是什么

Llmspeed 是一个展示本地大语言模型推理速度的工具/项目，核心思路很直接：把「某款模型在某类硬件上每秒能吐多少 token」变成可提前参考的数据，而不是等硬件到手后再试错。

它是通过 Hacker News 的 Show HN 板块发布的，附带讨论帖，说明作者希望以社区共建的方式积累真实测速数据。对准备搭建本地推理环境的人来说，这类基准数据比厂商宣传的算力参数更有实际参考价值。

需要说明的是，目前公开信息主要来自项目发布页与 HN 讨论，具体的硬件覆盖范围、模型清单和测速方法论，还需以项目文档为准。

为什么本地 LLM 的速度这么难预估

标注的 TFLOPS 和实际 token/s 之间隔着好几层变量，这也是「按参数买卡」经常翻车的原因。

显存容量决定「能不能跑」

模型权重会占用显存，量化位数越低占用越小。同一款模型在 FP16、8bit、4bit 量化下，显存需求和速度表现都不一样，仅看模型参数量无法判断本地设备是否吃得下。

量化（Quantization）是把模型权重从高精度浮点（如 FP16、BF16）压缩到低精度表示（如 INT8、INT4）的技术。常见做法包括 GPTQ、AWQ、GGUF 中的 K-quant 系列等，它们通过分块近似、分组缩放等方式在尽量保留模型质量的前提下降低每参数占用的比特数。一个 70 亿参数模型在 FP16 下约需 14GB 显存，而 4bit 量化后可压到 4GB 左右，这正是同一张卡能否跑动某模型的关键分水岭。需要注意的是，量化不仅影响显存占用，也影响计算路径：部分低比特格式在特定硬件上有专门加速，另一些则需反量化后再计算，实际速度差异可能超出预期。

显存带宽决定「跑多快」

自回归生成阶段是内存带宽敏感型负载，往往不是算力瓶颈，而是带宽瓶颈。这解释了一个常见现象：某些纸面算力更高的卡，在单请求推理时未必比带宽更优的型号快。

自回归生成之所以是带宽敏感型负载，原因在于每生成一个 token，都需要把模型权重完整读一遍（或至少读取激活路径涉及的权重）。在 batch size 为 1 的单用户场景下，算力单元大部分时间在等数据搬运，因此实际速度近似等于「显存带宽 ÷ 每 token 需读取的权重量」。这也解释了为什么消费级显卡在单请求推理上常能与数据中心卡掰手腕：后者算力强但带宽未必成比例领先。只有当批量增大、多个请求共享同一份权重读取时，算力才会成为主要瓶颈，此时吞吐（tokens/s total）才更有意义。

推理框架与量化方案影响巨大

llama.cpp、Ollama、vLLM 等不同后端，以及不同的量化格式和批处理设置，会让同一硬件的实测速度出现明显差异。社区实测数据之所以重要，就在于它覆盖了这些真实组合。

llama.cpp、Ollama、vLLM 三者的定位差异明显：llama.cpp 以纯 C/C++ 实现、支持 CPU 与多种 GPU 后端、对 GGUF 量化格式兼容性好，适合单机与边缘设备；Ollama 在其之上封装了模型拉取与运行管理，易用性优先；vLLM 则面向服务端高吞吐，核心是 PagedAttention 与连续批处理，在并发场景优势突出，但显存开销与部署复杂度也更高。同一模型同一硬件，在这三者下的单用户 token/s 与批量吞吐可能相差数倍，因此对比测速数据时必须确认对方使用的后端与关键参数（如上下文长度、批大小、是否启用 KV cache 量化）。

用测速数据做购买决策的实操思路

Llmspeed 这类工具的价值不在跑分本身，而在于把跑分转化为决策依据。

1. 先定模型，再定硬件：明确你要跑的参数规模和量化等级，倒推显存需求。
2. 盯生成速度而非峰值算力：对话场景关注单用户 token/s，批量场景才需要看吞吐。
3. 接受精度与速度的权衡：更低比特量化能降低门槛、提升速度，但会带来质量损失，需要按任务容错度取舍。
4. 把数据当参考而非结论：测速结果受驱动版本、上下文长度、系统环境影响，交叉比对多个来源更稳妥。

社区共建测速库的意义与局限

据 Show HN 发布信息，Llmspeed 走的是众包测速路线。这种模式的优势是覆盖面广、贴近真实使用场景；局限也同样明显：硬件配置、软件版本、测试提示词不统一时，数据可比性会打折扣。

对使用者而言，合理的做法是把它当作「量级参考」——判断某配置大致落在哪个速度区间，而不是把单个数字当作精确承诺。若项目能公开测试方法与环境记录，数据可信度会进一步提升。

适合谁用

• 准备给自己配一台本地推理机的开发者
• 在笔记本、迷你主机、独显之间犹豫的爱好者
• 需要评估边缘设备能否承载特定模型的产品团队
• 想比较不同推理后端实际表现的技术选型者

如果你已经在本地跑模型，把自己的实测数据回馈给这类项目，也是在帮后来者少走弯路。

常见问题

Llmspeed 会直接告诉我该买哪张卡吗？ 它提供的是速度参考数据，最终选型还要结合预算、显存需求和能效。

测出来的速度和我本地不一致怎么办？ 检查量化格式、推理框架版本和上下文长度是否相同，这些都会显著影响结果。

没有独立显卡能用吗？ 可以，但速度通常受限于内存带宽，建议优先考虑小参数模型加低比特量化。