[控场AI]
产品AKV引擎 / AKV服务引擎

AKV

一种为缓存工程设计的服务引擎,内部管理有状态的KV缓存复用、驱逐与恢复,对外提供无状态接口以兼容现有推理服务API。

时间轴 (近 90 天)

10月21日

论文作者设计了AKV服务引擎,在内部管理有状态的缓存复用、驱逐与恢复,同时对外提供无状态接口,兼容现有服务API。

待验证50%
10月21日

在AKV引擎上,输出吞吐量最高提升1.2倍,P95请求延迟加速1.5倍。

待验证50%
10月21日

AKV引擎的开源代码已在GitHub发布,为后续研究提供了可复现的基础。

待验证50%

全部知识事实 (3)

来源文章