KV Cache 量化

通过量化、低秩近似、按重要性淘汰旧 token 等手段压缩 KV Cache 占用，从而在同等显存下容纳更长上下文或更高并发的优化技术