待验证50% 置信权衡取舍精确时间
CUDA graph的代价是录制阶段本身需要先把整套图跑通一遍甚至多遍，且对动态形状、动态控制流的支持有限。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证prefill阶段因为要处理变长输入，往往需要为多种序列长度分别捕获CUDA graph，录制时间会被进一步放大。73% 相似待验证vLLM 的 FULL graphs 模式尽可能将整个前向计算录制为 CUDA Graph73% 相似待验证推理框架运行时开销（CUDA上下文初始化、算子融合缓存、显存碎片等）通常额外消耗 0.5–2 GB69% 相似待验证重叠式检查点分阶段加载让检查点页在CUDA graph捕获期间就从存储中并行分阶段载入67% 相似待验证项目补齐了租约、代际标记和尾部环形缓冲，并覆盖一道8路完整CUDA Graph归档，实验显示请求结束后KV容量和缓存槽位都回到初始值66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1012432API
curl https://kongchang.com/api/v1/knowledge/claims/1012432MCP
get_claim(id=1012432)