LMDeploy

LMDeploy结合量化技术，将KV Cache的数据类型从float量化为int，在损失一定精度的情况下压缩占用空间。