待验证50% 置信事实精确时间

内存带宽决定权重读取速度并影响生成每个token的延迟，浮点算力（FLOPS）决定矩阵运算速度并影响prefill阶段处理输入提示词的速度

1

来源数

50%

置信度

长期有效

时效性

2026/9/25

首次发现

来源

M5 Ultra 80核跑GLM-5.3-Flash实测：内存充裕但GPU成瓶颈

涉及实体

内存带宽concept FLOPSconcept

相关事实

待验证在推理阶段内存带宽往往比纯算力更早成为瓶颈，注意力机制需在每步生成时读取全部KV缓存，上下文长度增大时内存读写开销呈平方级增长78% 相似待验证若加速主要来自减少视觉token数量，则对prefill延迟改善更显著，对长文本生成的解码速度影响有限72% 相似待验证复杂的程序化计算可能导致帧率下降，因此实际应用中常采用预计算缓存策略来平衡质量与性能72% 相似待验证高吞吐通过批处理实现，会提升单位时间处理token总量但增加首字节延迟；低延迟要求小批次或不批处理，降低硬件利用率并升高每token成本71% 相似待验证在芯片架构设计中，吞吐量与延迟通常是一对需要权衡的指标71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/949524

API

curl https://kongchang.com/api/v1/knowledge/claims/949524

MCP

get_claim(id=949524)