待验证50% 置信事实精确时间
EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式，属于 EXL2 的后继；ExLlamaV3 是 turboderp 维护的推理库；vllm-exl3 是 Victor Cruz 写的桥接层，将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
763B MoE 塞进两张 96GB 显卡：闲置专家丢进主机内存
rss2026/10/16
涉及实体
相关事实
待验证能跑起来的方案依赖一套组合：DeepSeek 出权重，coolbho3k 做 3-bit 量化，turboderp 写了 EXL3 格式和 ExLlamaV3 推理库，Victor Cruz 写了 vllm-exl3 桥接层，Diffbot 设计了按专家的拆分方案、启动流程和 kernel，InferenceKey 做集成和测量。76% 相似待验证ExLlamaV3 是专为消费级 NVIDIA GPU 上高效运行 GGUF/EXL2 等量化格式大语言模型而设计的推理引擎74% 相似待验证vLLM v0.29.0新增了对Hy4-preview、Qwen3.8-Flash-Next、GraniteSWA以及NemotronH Omni Reasoning V3等模型的支持61% 相似待验证围绕开放权重模型涌现出llama.cpp、vLLM、Ollama、Text Generation Inference等推理框架，其中llama.cpp支持CPU和Apple Silicon推理，vLLM是高吞吐GPU推理引擎61% 相似待验证vLLM是构建在PyTorch之上的推理引擎60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044818API
curl https://kongchang.com/api/v1/knowledge/claims/1044818MCP
get_claim(id=1044818)