概念

FlexBudget

一种在统一算力预算和固定 kernel 条件下公平比较 KV 缓存淘汰规则的实验方法论，采用 training-free 和纯核心 PyTorch 实现，旨在将算法贡献与工程实现差异分离。

时间轴 (近 90 天)

10月13日

AMD 工程师 Huan Ran 在 PyTorch Conference North America 2026 的海报展示中提出了名为 FlexBudget 的方案，旨在解决 KV 缓存淘汰策略比较时规则与实现纠缠的方法论问题。

待验证50%

10月13日

FlexBudget 的核心思路是固定 kernel 和显存预算，只替换 KV 缓存淘汰规则本身，从而使不同策略在完全公平的条件下对垒。

待验证50%

10月13日

FlexBudget 具有 training-free 特性，不需要任何额外训练或微调即可使用。

待验证50%

10月13日

FlexBudget 完全基于 PyTorch 原生实现，不依赖定制 CUDA 扩展。

待验证50%

FlexBudget 的核心思路是固定 kernel 和显存预算，只替换 KV 缓存淘汰规则本身，从而使不同策略在完全公平的条件下对垒。

FlexBudget 具有 training-free 特性，不需要任何额外训练或微调即可使用。

FlexBudget 完全基于 PyTorch 原生实现，不依赖定制 CUDA 扩展。