待验证50% 置信事实精确时间
在 H100 上，GPU 完成一步计算的速度远超数据加载速度，低 num_workers 导致 dataloader 来不及喂数据，GPU 被迫空转等待，即数据饥饿问题。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证传统GPU如NVIDIA A100/H100在推理阶段面临内存带宽瓶颈，模型权重需要在每次生成Token时从显存反复读取77% 相似待验证模型权重完整驻留在GPU显存中可避免显存换入换出开销，而超过GPU显存容量的模型需要在CPU和GPU之间搬运数据导致延迟显著上升75% 相似待验证超大的prompt在prefill阶段可能会完全占用GPU数分钟，导致多用户满窗口任务时队列拥堵72% 相似待验证当KV缓存溢出GPU显存容量时，性能会呈阶跃式骤降而非平缓下降71% 相似待验证启用 AMP 会缩短 GPU 消化一个 batch 的时间，从而放大 DataLoader 供给不足造成的瓶颈71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1022866API
curl https://kongchang.com/api/v1/knowledge/claims/1022866MCP
get_claim(id=1022866)