人物
turboderp
开源开发者,ExLlama 系列推理库和 EXL3 量化格式的作者,专注于大模型量化和高效推理
时间轴 (近 90 天)
10月16日
能跑起来的方案依赖一套组合:DeepSeek 出权重,coolbho3k 做 3-bit 量化,turboderp 写了 EXL3 格式和 ExLlamaV3 推理库,Victor Cruz 写了 vllm-exl3 桥接层,Diffbot 设计了按专家的拆分方案、启动流程和 kernel,InferenceKey 做集成和测量。
待验证50%
10月16日
EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式,属于 EXL2 的后继;ExLlamaV3 是 turboderp 维护的推理库;vllm-exl3 是 Victor Cruz 写的桥接层,将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。
待验证50%
全部知识事实 (2)
待验证
能跑起来的方案依赖一套组合:DeepSeek 出权重,coolbho3k 做 3-bit 量化,turboderp 写了 EXL3 格式和 ExLlamaV3 推理库,Victor Cruz 写了 vllm-exl3 桥接层,Diffbot 设计了按专家的拆分方案、启动流程和 kernel,InferenceKey 做集成和测量。
50%待验证EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式,属于 EXL2 的后继;ExLlamaV3 是 turboderp 维护的推理库;vllm-exl3 是 Victor Cruz 写的桥接层,将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。
50%