人物
Victor Cruz
开源开发者,vllm-exl3 桥接层的作者,将 ExLlamaV3 量化 kernel 接入 vLLM 推理框架
时间轴 (近 90 天)
10月16日
能跑起来的方案依赖一套组合:DeepSeek 出权重,coolbho3k 做 3-bit 量化,turboderp 写了 EXL3 格式和 ExLlamaV3 推理库,Victor Cruz 写了 vllm-exl3 桥接层,Diffbot 设计了按专家的拆分方案、启动流程和 kernel,InferenceKey 做集成和测量。
待验证50%
10月16日
EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式,属于 EXL2 的后继;ExLlamaV3 是 turboderp 维护的推理库;vllm-exl3 是 Victor Cruz 写的桥接层,将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。
待验证50%
全部知识事实 (2)
待验证
能跑起来的方案依赖一套组合:DeepSeek 出权重,coolbho3k 做 3-bit 量化,turboderp 写了 EXL3 格式和 ExLlamaV3 推理库,Victor Cruz 写了 vllm-exl3 桥接层,Diffbot 设计了按专家的拆分方案、启动流程和 kernel,InferenceKey 做集成和测量。
50%待验证EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式,属于 EXL2 的后继;ExLlamaV3 是 turboderp 维护的推理库;vllm-exl3 是 Victor Cruz 写的桥接层,将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。
50%