待验证50% 置信事实精确时间
tile 参数是指将大矩阵分割成小块进行并行计算时的块大小设置，是影响 GPU 内存带宽利用率和计算吞吐的关键超参数
1
来源数
50%
置信度
长期有效
时效性
2026/10/2
首次发现
来源
涉及实体
相关事实
待验证预填充阶段属于计算密集型操作主要受 GPU 算力限制，解码阶段属于内存带宽密集型操作主要受显存带宽限制69% 相似待验证GPU 在大模型推理时的核心瓶颈是内存带宽，自回归生成每个 Token 需从 HBM 加载完整 KV Cache，计算利用率通常不到 5%68% 相似待验证GPU方案通过批处理技术将多个用户请求合并计算，可大幅提升总体吞吐量，是延迟与吞吐量的权衡67% 相似待验证研究《Accelerating Block Low-Rank Foundation Model Inference on Memory-Constrained GPUs》提出基于块低秩分解的方案压缩内存并加速推理65% 相似待验证判断显卡是否够用的核心指标是显存大小，模型越大需要的GPU越好甚至需要多张显卡并联65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/968398API
curl https://kongchang.com/api/v1/knowledge/claims/968398MCP
get_claim(id=968398)