待验证50% 置信事实精确时间
显存容量与解码速度的相关系数R=0.41（中等相关），显存加内存总容量与速度的R=0.13（基本无关）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/24
首次发现
来源
141份实测揭秘：你的显卡跑大模型到底有多快？
bilibili九物AI生产力2026/10/23
涉及实体
相关事实
待验证推理速度（tokens/秒）≈ 内存带宽 ÷ 模型大小72% 相似待验证在 100 万向量规模下，PRISM 在 2GB 的 c8g.medium 上做到 99% recall、15 毫秒中位延迟；HNSW 在 4GB 的 c8g.large 上是 392 毫秒，构建花了约 21.7 小时并出现内存抖动。69% 相似待验证decode阶段的生成速度近似等于内存带宽÷模型大小，例如在内存带宽273GB/s的M4 Pro上运行4GB的Q4量化7B模型理论最大生成速度约68 tokens/s68% 相似待验证将上下文从192000拉到256000时专家缓存从16.44G降到13.66G、KV从4.31G升到7G，速度几乎零代价，因KV全显存加专家缓存自动平衡68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1092286API
curl https://kongchang.com/api/v1/knowledge/claims/1092286MCP
get_claim(id=1092286)