待验证50% 置信事实精确时间
能跑起来的方案依赖一套组合：DeepSeek 出权重，coolbho3k 做 3-bit 量化，turboderp 写了 EXL3 格式和 ExLlamaV3 推理库，Victor Cruz 写了 vllm-exl3 桥接层，Diffbot 设计了按专家的拆分方案、启动流程和 kernel，InferenceKey 做集成和测量。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至：2027/1/14
来源
763B MoE 塞进两张 96GB 显卡：闲置专家丢进主机内存
rss2026/10/16
涉及实体
相关事实
待验证EXL3 是 ExLlamaV3 引入的一种 3-bit 量化格式，属于 EXL2 的后继；ExLlamaV3 是 turboderp 维护的推理库；vllm-exl3 是 Victor Cruz 写的桥接层，将 ExLlamaV3 的量化 kernel 接入 vLLM 的调度和 PagedAttention 体系。76% 相似待验证ExLlamaV3 是专为消费级 NVIDIA GPU 上高效运行 GGUF/EXL2 等量化格式大语言模型而设计的推理引擎65% 相似待验证AdaptiveSpec支持DeepSeek-R1-Distill-Llama-8B、Llama-3.1-8B-Instruct和Qwen3-8B三个主流目标模型64% 相似待验证DeepSeek V3和R1采用MoE（混合专家）架构，使Mac Studio或DGX Spark这类设备能以可用速度运行大模型63% 相似待验证围绕开放权重模型涌现出llama.cpp、vLLM、Ollama、Text Generation Inference等推理框架，其中llama.cpp支持CPU和Apple Silicon推理，vLLM是高吞吐GPU推理引擎62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1044817API
curl https://kongchang.com/api/v1/knowledge/claims/1044817MCP
get_claim(id=1044817)