已验证65% 置信事实时间未知

自回归解码阶段GPU算力利用率往往不足10%，属于内存密集型操作

3

来源数

65%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Qwen3.6 MTP加速实测：单GPU推理飙到220 token/s

bilibili普通鱼学家呀

涉及实体

Transformerconcept

相关事实

已验证大模型推理时实际GPU利用率往往不足10%85% 相似已验证输出Token价格通常为输入的4-6倍，源于预填充与解码两阶段的算力差异，解码阶段GPU利用率可能仅为预填充的10-20%77% 相似待验证纯CPU推理通常比GPU推理慢5-10倍76% 相似待验证传统LLM推理框架为每条请求预分配连续显存导致内存碎片，GPU实际利用率往往不足50%74% 相似待验证FreeToken支持运行时调整GPU专家缓存大小，测试显示缓存从58%降至40%仅损失约10%性能，低于20%时性能急剧下降74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/18051

API

curl https://kongchang.com/api/v1/knowledge/claims/18051

MCP

get_claim(id=18051)