概念

TurboQuant

TurboVec所采用的核心向量量化算法，旨在于压缩率与检索准确率之间取得更优的平衡

时间轴 (近 90 天)

10月13日

在启用 TurboQuant 的模型上，社区实际跑下来 128 GB 机器 Hot Cache Limit 普遍设为 10%。

待验证50%

10月13日

TurboQuant 3.5-bit 在质量上与全精度持平，KV 缓存内存占用约为四分之一（基于 vLLM 的独立研究验证）。

待验证50%

10月13日

在 oMLX 0.6.4 上，TurboQuant KV Cache 不能与 VLM MTP 叠加使用，且实测并不会带来生成加速。

待验证50%

9月28日

针对 Gemma 4 等滑动窗口模型，新增了 TurboQuant KV 缓存和 KV 缓存量化

待验证50%

在启用 TurboQuant 的模型上，社区实际跑下来 128 GB 机器 Hot Cache Limit 普遍设为 10%。

TurboQuant 3.5-bit 在质量上与全精度持平，KV 缓存内存占用约为四分之一（基于 vLLM 的独立研究验证）。

在 oMLX 0.6.4 上，TurboQuant KV Cache 不能与 VLM MTP 叠加使用，且实测并不会带来生成加速。

针对 Gemma 4 等滑动窗口模型，新增了 TurboQuant KV 缓存和 KV 缓存量化