论文KIVI
KIVI
面向自回归LLM的KV cache量化方法，对Key缓存按通道量化、对Value缓存按token量化，利用K与V不同的分布特性
时间轴 (近 90 天)
10月30日
KIVI 对 Key 缓存按通道（per-channel）量化、对 Value 缓存按 token（per-token）量化。
待验证50%
10月30日
作者将 KIVI 和 KVQuant 适配到 Fast-dLLM 风格的 prefix 缓存和 dual 缓存复用场景，并提出了 TRACE 和 dLLM-KVQ 两种新方法。
待验证50%
9月26日
KIVI提出对KV Cache做逐通道的2比特量化并保留少量异常值通道全精度存储，KVQuant把支持的上下文窗口推到千万Token量级
待验证50%
8月24日
K8V4非对称设计可行的原因是Key参与注意力分数计算对精度敏感，而Value是加权求和对量化噪声有更强鲁棒性，这一发现最早在KIVI等学术论文中被系统验证
待验证50%
全部知识事实 (4)
待验证
KIVI 对 Key 缓存按通道（per-channel）量化、对 Value 缓存按 token（per-token）量化。
50%待验证作者将 KIVI 和 KVQuant 适配到 Fast-dLLM 风格的 prefix 缓存和 dual 缓存复用场景，并提出了 TRACE 和 dLLM-KVQ 两种新方法。
50%待验证KIVI提出对KV Cache做逐通道的2比特量化并保留少量异常值通道全精度存储，KVQuant把支持的上下文窗口推到千万Token量级
50%待验证K8V4非对称设计可行的原因是Key参与注意力分数计算对精度敏感，而Value是加权求和对量化噪声有更强鲁棒性，这一发现最早在KIVI等学术论文中被系统验证
50%