在单张 NVIDIA A40、fp32 且关闭 TF32、batch size 1、贪心解码的设置下，GPT-2 small 使用 KV 缓存后，上下文长度 1000 时单 token 延迟从 29.69 ms 降至 4.95 ms，约 6 倍。