GPT-2 small
OpenAI发布的GPT-2系列中的小型版本，参数量约为1.24亿，是早期开源语言模型的代表之一。
时间轴 (近 90 天)
15M参数大致相当于早期GPT-2 small（约117M参数）的八分之一左右。
实验使用预训练的GPT-2 small（124M参数）、NVIDIA A40 GPU、fp32精度且关闭TF32、batch size为1、贪心解码。
一位开发者在PyTorch中从零实现了GPT-2 small的KV Cache，并测量了正确性、延迟和内存三组数据。
作者的 GPT-2 small KV 缓存实现代码和文章公开在个人博客与 GitHub 仓库（angry-kratos.github.io），可复现同一组数字。
在相同实验设置下，生成 1016 个 token 的总耗时从 14.66 秒降至 5.03 秒。
在单张 NVIDIA A40、fp32 且关闭 TF32、batch size 1、贪心解码的设置下，GPT-2 small 使用 KV 缓存后，上下文长度 1000 时单 token 延迟从 29.69 ms 降至 4.95 ms，约 6 倍。
在相同实验设置下，上下文长度 1000 时 FLOPs 估算下降约 1000 倍，而单 token 延迟仅下降约 6 倍。
Keera的架构基于GPT-2 small：12层Transformer块，隐藏维度768，总参数量97.5M。
机制可解释性入门可从小模型（如 GPT-2 small）的可解释性分析做起，再逐步挑战更复杂的机制
全部知识事实 (9)
在相同实验设置下，生成 1016 个 token 的总耗时从 14.66 秒降至 5.03 秒。
70%待验证15M参数大致相当于早期GPT-2 small（约117M参数）的八分之一左右。
50%待验证实验使用预训练的GPT-2 small（124M参数）、NVIDIA A40 GPU、fp32精度且关闭TF32、batch size为1、贪心解码。
50%待验证在相同实验设置下，上下文长度 1000 时 FLOPs 估算下降约 1000 倍，而单 token 延迟仅下降约 6 倍。
50%待验证在单张 NVIDIA A40、fp32 且关闭 TF32、batch size 1、贪心解码的设置下，GPT-2 small 使用 KV 缓存后，上下文长度 1000 时单 token 延迟从 29.69 ms 降至 4.95 ms，约 6 倍。
50%待验证作者的 GPT-2 small KV 缓存实现代码和文章公开在个人博客与 GitHub 仓库（angry-kratos.github.io），可复现同一组数字。
50%待验证Keera的架构基于GPT-2 small：12层Transformer块，隐藏维度768，总参数量97.5M。
50%待验证机制可解释性入门可从小模型（如 GPT-2 small）的可解释性分析做起，再逐步挑战更复杂的机制
50%待验证一位开发者在PyTorch中从零实现了GPT-2 small的KV Cache，并测量了正确性、延迟和内存三组数据。
50%