[控场AI]
人物

coolbho3k

开源开发者,从事大模型量化工作,制作了 DeepSeek-V4.1-Flash 的 3-bit EXL3 量化包

时间轴 (近 90 天)

10月16日

DeepSeek-V4.1-Flash 有 763B 参数,BF16 权重约 1.5 TB,官方 FP4/FP8 checkpoint 是 475.2 GiB,coolbho3k 的 3-bit EXL3 包压到 309.3 GiB。

待验证50%
10月16日

能跑起来的方案依赖一套组合:DeepSeek 出权重,coolbho3k 做 3-bit 量化,turboderp 写了 EXL3 格式和 ExLlamaV3 推理库,Victor Cruz 写了 vllm-exl3 桥接层,Diffbot 设计了按专家的拆分方案、启动流程和 kernel,InferenceKey 做集成和测量。

待验证50%

全部知识事实 (2)

来源文章