待验证50% 置信决策规则精确时间

使用GDS时，目标缓冲区必须位于GPU显存且满足对齐要求（通常4KB或更大），否则会回退到兼容路径。

1

来源数

50%

置信度

长期有效

时效性

2026/10/22

首次发现

来源

用Python通过GPUDirect Storage直读数据到GPU显存

涉及实体

GDSconcept GPU显存concept

相关事实

待验证超长上下文带来的KV缓存会随上下文长度线性增长，Unsloth优化卸载规划器优先保证KV缓存留在GPU上70% 相似待验证当KV缓存溢出GPU显存容量时，性能会呈阶跃式骤降而非平缓下降69% 相似待验证模型权重完整驻留在GPU显存中可避免显存换入换出开销，而超过GPU显存容量的模型需要在CPU和GPU之间搬运数据导致延迟显著上升69% 相似待验证GPU 在大模型推理时的核心瓶颈是内存带宽，自回归生成每个 Token 需从 HBM 加载完整 KV Cache，计算利用率通常不到 5%69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1086313

API

curl https://kongchang.com/api/v1/knowledge/claims/1086313

MCP

get_claim(id=1086313)