模型
Llama-2-7B
Meta发布的Llama 2系列中的70亿参数版本，采用刻意过度训练策略，token/参数比约为290:1
核心事实
时间轴 (近 90 天)
10月14日
M2 Max Mac Studio 可以以每秒8个token的速度运行 Llama-2-7B 推理。
待验证50%
10月8日
在相同平均激活参数预算下，LRCC在Llama-2-7B上平均下游任务准确率相比静态方法提升7.6个百分点
待验证50%
8月24日
Llama-2-7B和Gemma-2-9B的token/参数比分别约为290和889，远超Chinchilla的20:1
待验证85%
全部知识事实 (5)
已验证
以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB
80%已验证对于拥有32层、32头注意力的典型7B模型，每个token需约0.5MB显存存储KV Cache，生成1000个token则需额外约500MB显存
70%待验证Llama-2-7B和Gemma-2-9B的token/参数比分别约为290和889，远超Chinchilla的20:1
85%待验证M2 Max Mac Studio 可以以每秒8个token的速度运行 Llama-2-7B 推理。
50%待验证在相同平均激活参数预算下，LRCC在Llama-2-7B上平均下游任务准确率相比静态方法提升7.6个百分点
50%