Llmspeed

Llmspeed 是一个开源项目，通过 Hacker News 的 Show HN 板块发布，用于展示本地大语言模型推理速度。

Llmspeed 采用众包方式积累真实测速数据，让用户能在购买硬件前参考某款模型在某类硬件上的每秒 token 输出量。

使用测速数据做购买决策时应先确定模型和量化等级以倒推显存需求，关注生成速度而非峰值算力，接受精度与速度的权衡，并将数据作为参考而非精确结论。

众包测速模式的优势是覆盖面广、贴近真实使用场景，但硬件配置、软件版本、测试提示词不统一时数据可比性会打折扣。