待验证50% 置信决策规则精确时间

推理速度（tokens/秒）≈ 内存带宽 ÷ 模型大小

1

来源数

50%

置信度

长期有效

时效性

2026/10/14

首次发现

来源

RTX 5090对决M5 Ultra：本地AI推理谁更强

涉及实体

推理速度concept 内存带宽concept

相关事实

待验证模型每生成一个token都要把整个模型从内存完整读取一遍，由此得出速度上限 = 内存带宽 ÷ 模型体积78% 相似待验证本地AI推理速度公式为Token/s ≈ 内存带宽 / 每token需读取的数据量78% 相似待验证决定能跑什么模型的关键是内存容量和内存速度：内存容量决定模型大小，内存速度决定每秒Token数76% 相似待验证70B参数模型(140GB权重)在1TB/s带宽下理论最快生成速度约7 tokens/秒75% 相似已验证对于7B参数模型的4-bit量化版本，通常需要至少8GB内存和现代多核CPU即可流畅运行，推理速度约为每秒10-30个token75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1032037

API

curl https://kongchang.com/api/v1/knowledge/claims/1032037

MCP

get_claim(id=1032037)