待验证50% 置信事实精确时间

决定大模型推理性能的是VRAM（显存）而非系统内存，当模型权重超出VRAM容量时推理速度会从数十TPS断崖式跌至个位数

1

来源数

50%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

本地跑大模型是幻觉？开放权重的真实价值与硬件门槛

youtubeTheo - t3․gg2026/7/7

相关事实

待验证大模型推理中每生成一个token都需要从显存中读取全部模型权重，速度瓶颈本质是数据搬运问题而非计算问题74% 相似待验证在LLM推理场景中GPU显存容量往往比算力峰值更为关键72% 相似待验证自回归大模型推理瓶颈并非计算量而是内存带宽，推测解码通过拒绝采样保证输出分布与原始大模型完全一致71% 相似待验证知识蒸馏技术使小模型可从大模型中提取相当比例能力，动摇了固定算力阈值作为能力代理指标的有效性70% 相似待验证大模型推理阶段是memory-bound（内存带宽受限），每生成一个Token需从显存读取整个模型权重，计算强度极低70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/410825

API

curl https://kongchang.com/api/v1/knowledge/claims/410825

MCP

get_claim(id=410825)