待验证50% 置信基准精确时间
Split-KV 是一种精确的上下文并行(CP)方法,在 CP 规模为 64 时保持 85–91% 的弱扩展效率。
1
来源数
50%
置信度
长期有效
时效性
2026/11/5
首次发现
来源
涉及实体
相关事实
待验证Split-KV 采用代价感知的最长处理时间优先(LPT)策略分配上下文 KV 块,负载不均衡率低于 1%。69% 相似待验证Prompt缓存(KV Cache)在相同系统提示多次使用时可复用缓存的KV矩阵,通常将延迟降低40-60%、成本降低50-90%61% 相似待验证Magnitude通过kernel fusion将KV-cache更新与注意力计算融合,把cudaMemcpy开销从22%压到4%。60% 相似待验证算子融合将多个连续算子合并为一个复合算子,让中间结果在寄存器或缓存中完成计算,能减少内存带宽消耗60%-80%60% 相似待验证超长上下文带来的KV缓存会随上下文长度线性增长,Unsloth优化卸载规划器优先保证KV缓存留在GPU上60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1138022API
curl https://kongchang.com/api/v1/knowledge/claims/1138022MCP
get_claim(id=1138022)