待验证50% 置信基准精确时间
Q8主模型占用162GB导致drafter无法装入统一内存,DSpark加速失效,将三层MoE专家放回CPU后输出仅从22.87提升到23.49 token/秒(快2.7%),prefill从95.38降至76.65
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/11
首次发现
有效期至:2026/12/10
来源
涉及实体
相关事实
待验证当模型权重和 KV Cache 无法完全载入 GPU 显存时需将部分数据交换到主内存(offloading),会使推理速度下降一到两个数量级68% 相似待验证在DeepSeek V4(D300机器)、8K输入/1K输出的测试场景下,DSpark相较Baseline在单用户Token速率上有接近150倍的提升67% 相似待验证vLLM通过PagedAttention技术将KV Cache的内存碎片率从60%以上压缩至接近零,在高并发场景下可将推理吞吐量提升数倍66% 相似待验证对KV Cache进行Q8量化可在精度损失极小的前提下将内存占用压缩约50%66% 相似待验证2Rx4架构的64GB RDIMM在部分平台上会导致内存频率降档运行,尤其在每通道插满2条或以上时,实际运行频率可能降至2933MHz甚至更低,需查阅CPU和主板的内存频率支持矩阵66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/897654API
curl https://kongchang.com/api/v1/knowledge/claims/897654MCP
get_claim(id=897654)