待验证50% 置信事实精确时间

在35B参数模型中GEMM内核往往占据总计算时间的60-80%

1

来源数

50%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

手写C/CUDA推理引擎：RTX 5090运行Qwen 35B模型的极致优化

相关事实

待验证H100内存子系统的动态功耗在大模型推理中占比可达整卡功耗的20%～35%72% 相似待验证34B 80层模型比27B推理时间增加约18%69% 相似待验证参数量在1亿以下的轻量模型经领域数据微调后可达95%以上意图分类准确率，单次推理延迟控制在5-20ms以内66% 相似待验证业界顶级集群的MFU（模型算力利用率）通常在35%-60%之间65% 相似待验证在完整的AI应用系统中，GPU推理通常只占总计算量的30%-40%，其余60%-70%的计算负载由CPU承担64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/566988

API

curl https://kongchang.com/api/v1/knowledge/claims/566988

MCP

get_claim(id=566988)