[控场AI]
人物

Victor Cruz

开源开发者,vllm-exl3 桥接层的作者,将 ExLlamaV3 量化 kernel 接入 vLLM 推理框架

时间轴 (近 90 天)

10月16日

能跑起来的方案依赖一套组合:DeepSeek 出权重,coolbho3k 做 3-bit 量化,turboderp 写了 EXL3 格式和 ExLlamaV3 推理库,Victor Cruz 写了 vllm-exl3 桥接层,Diffbot 设计了按专家的拆分方案、启动流程和 kernel,InferenceKey 做集成和测量。

待验证50%
10月16日

EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式,属于 EXL2 的后继;ExLlamaV3 是 turboderp 维护的推理库;vllm-exl3 是 Victor Cruz 写的桥接层,将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。

待验证50%

全部知识事实 (2)

来源文章