产品AKV引擎 / AKV服务引擎
AKV
一种为缓存工程设计的服务引擎,内部管理有状态的KV缓存复用、驱逐与恢复,对外提供无状态接口以兼容现有推理服务API。
时间轴 (近 90 天)
10月21日
论文作者设计了AKV服务引擎,在内部管理有状态的缓存复用、驱逐与恢复,同时对外提供无状态接口,兼容现有服务API。
待验证50%
10月21日
在AKV引擎上,输出吞吐量最高提升1.2倍,P95请求延迟加速1.5倍。
待验证50%
10月21日
AKV引擎的开源代码已在GitHub发布,为后续研究提供了可复现的基础。
待验证50%