待验证50% 置信事实精确时间
在batch-1解码场景中，由于算术强度极低，性能瓶颈必然落在内存带宽一侧，理论token上限可由实测带宽乘以权重字节数计算得出。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证大模型推理的性能上限往往不取决于芯片的峰值算力（FLOPS），而是取决于内存带宽76% 相似待验证端侧推理的瓶颈往往不是峰值算力而是内存带宽，三元量化通过压缩参数减少每次推理需读取的数据量，是实现120 tok/s的关键75% 相似待验证当算子的计算强度低于硬件的山脊点（峰值算力除以峰值带宽）时它是带宽受限的，反之则是算力受限75% 相似待验证在超长上下文推理场景中，性能瓶颈往往不是算力而是KV缓存本身73% 相似待验证该架构的关键环节是一个残差低维离散瓶颈（residual low-dimension discrete bottleneck），通过有限离散码本传递信息从而产生量化和信息损失73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1006836API
curl https://kongchang.com/api/v1/knowledge/claims/1006836MCP
get_claim(id=1006836)