待验证50% 置信事实精确时间
在大模型训练中，一个批次内的所有计算单元必须完成前向计算和反向传播并同步更新参数后才能进入下一批次，因此在智能体长任务中快单元需等待慢单元，导致 GPU 利用率下降。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证显存卸载指在推理过程中将暂时不参与计算的权重或激活值从 GPU 显存转移到系统内存或磁盘，代价是重新搬回 GPU 产生延迟导致推理速度下降79% 相似待验证连续批处理（Continuous Batching）解决GPU利用率问题，防止序列长度不齐导致的算力浪费77% 相似已验证当模型参数量超出GPU显存容量时需要offload到系统内存，推理速度会从数十Token/秒骤降至个位数77% 相似待验证GPU非确定性操作在设计上优先考虑性能而非确定性，强制固定执行顺序会引入大量同步屏障显著降低并行效率76% 相似待验证GPU-CPU 同步在高并发场景下阻塞时间不确定，可能在某些请求上引入数百微秒甚至毫秒级的额外等待75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1014646API
curl https://kongchang.com/api/v1/knowledge/claims/1014646MCP
get_claim(id=1014646)