已验证75% 置信权衡取舍精确时间

CPU-GPU混合推理（offloading）方案会带来显著的推理速度下降

3

来源数

75%

置信度

长期有效

时效性

2026/8/31

首次发现

来源

腾讯混元大模型从1.5TB压缩至200GB，性能保留98%

涉及实体

offloadingconcept

相关事实

已验证当模型参数量超出GPU显存容量时需要offload到系统内存，推理速度会从数十Token/秒骤降至个位数79% 相似待验证CPU推理与GPU推理相比，速度往往有数量级的差距78% 相似待验证在纯GPU推理、尤其是低并发的场景下,CPU对性能的影响相当有限77% 相似待验证显存卸载指在推理过程中将暂时不参与计算的权重或激活值从 GPU 显存转移到系统内存或磁盘，代价是重新搬回 GPU 产生延迟导致推理速度下降77% 相似已验证推测解码、模型蒸馏、KV Cache优化等推理优化技术的持续进步正在使单位推理成本快速下降76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/828398

API

curl https://kongchang.com/api/v1/knowledge/claims/828398

MCP

get_claim(id=828398)