待验证50% 置信基准精确时间
Nsight Systems 分析显示，达到 7.3 tok/s 时每个 token 约 137ms，其中 GPU 忙碌约 92ms、空闲约 54ms，启动间间隙仅约 13ms，因此 CUDA 图只能优化这 13ms。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至：2027/1/15
来源
8GB显卡跑120B Nemotron：跳过零值，找真瓶颈
rss2026/10/17
涉及实体
相关事实
待验证实测中模型加载仅耗时几秒，GPU占用从23GB降至约17GB，首次测试提示词处理耗时225ms，生成速度稳定在33.5 tok/s，总输出1500 token。74% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限73% 相似待验证NVIDIA CUDA运行时初始化时创建的设备上下文通常占用150-300MB显存69% 相似待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1053040API
curl https://kongchang.com/api/v1/knowledge/claims/1053040MCP
get_claim(id=1053040)