[控场AI]
科技前沿· 8 分钟阅读· 4,406 字

RTX 3060跑DeepSeek V4.1:外存MoE预填充瓶颈破解

RTX 3060跑DeepSeek V4.1:外存MoE预填充瓶颈破解

Betelgeuse 在 RTX 3060 上以 19 tok/s 解码、62 tok/s 预填充运行 300GB 级 DeepSeek V4.1 Flash。

Betelgeuse 项目展示了在 RTX 3060 12GB 和 16GB 单通道 DDR4 内存的预算级 PC 上,以可用速度运行总大小超过 300GB 的 DeepSeek V4.1 Flash Q8_XL。其核心突破在于解决外存 MoE 的预填充瓶颈:通过位置无关缓存分区、16 token 单趟层优先预填充和趟末物理显存整合,将预填充速度从 3–6 tok/s 提升至 61.80 tok/s,解码约 19 tok/s。Engram 表利用稀疏激活几乎不占 RAM,DSpark 草稿器在代码任务上接受率达 80–90%。与 Strata 的对比因硬件条件不同需谨慎解读,双通道内存可让预填充接近翻倍。所有数据来自作者自测,尚未独立验证。

在消费级硬件上运行前沿大模型,一直受限于显存和内存容量。最近,一个名为 Betelgeuse 的项目展示了在 RTX 3060 12GB 和 16GB 单通道 DDR4 内存的预算级游戏 PC 上,以可用速度运行 DeepSeek V4.1 Flash Q8_XL(总大小超过 300GB)的成果。据项目作者在 Reddit 上分享,其解码速度达到 19 tok/s,预填充速度从最初的 3–6 tok/s 提升至 61.80 tok/s。本文基于该分享,梳理其技术思路与关键取舍。

外存 MoE 的核心痛点:预填充

对于将专家层放在 SSD 或混合存储上的大型 MoE 模型,首次令牌时间(TTFT)是最大的体验障碍。一个 500 token 的提示,传统实现可能需要 30–60 秒才能处理完,期间引擎以 1–3 tok/s 的速度艰难推进。原因在于,预填充阶段几乎会激活所有 40 层中的每一个专家,如果顺序流式加载,GPU 会在总线阻塞时长时间空闲。

Betelgeuse 的作者此前因 Qwen 3.8 Flash Next 的分享受到关注,但社区更关心的是:这种方法能否用于像 DeepSeek广告 V4.1 Flash 这样的前沿模型?答案是肯定的。他们强调,这不是在运行 IQ2_XS 量化的小模型,而是 Q8_XL 精度下 305.6+110.6GB 的专家骨干,并搭配 IQ4_NL Engram 表。

MoE(混合专家)架构:DeepSeek 等前沿模型采用 MoE 结构,每一层包含多个“专家”子网络,但每个 token 只路由到其中少数几个。以本文模型为例,总参数超过 300GB,但单次前向传播只激活部分专家,因此理论上可以在有限显存下运行——前提是能高效地把需要的专家从慢速存储搬到 GPU。MoE 的难点在于预填充阶段:处理长提示时,几乎所有专家都会被不同 token 激活,导致大量权重需要从 SSD/内存流入 GPU,形成 I/O 瓶颈。这正是外存 MoE 推理的核心矛盾:解码时激活稀疏、搬运量小;预填充时激活密集、搬运量大。Betelgeuse 的三项优化正是针对这一不对称性设计的。

TTFT(首次令牌时间):指从用户提交提示到模型输出第一个 token 的延迟,是交互式应用体验的关键指标。对于外存 MoE,TTFT 主要由预填充阶段决定:引擎需要先处理整个提示、激活并加载所需专家,然后才能开始逐 token 解码。传统实现下,500 token 提示可能耗时 30–60 秒,用户感知为“卡死”。Betelgeuse 将热预填充提升至 61.80 tok/s,意味着 500 token 提示的预填充时间从数十秒压缩到约 8 秒,TTFT 接近即时,这是其体验改善的核心。

三项优化破解预填充瓶颈

Betelgeuse 通过三项针对性改动,将预填充速度提升了一个数量级。

位置无关的缓存分区

每层维护 20 个常驻槽位(5 个 VRAM 热槽 + 15 个主机内存槽),并采用严格非干扰路由。这种设计让活跃专家可以稳定驻留,减少重复加载。

单趟层优先预填充

不同于将提示切成 3 token 的微批次(这会破坏 Tensor Core 占用率),预填充以完整的 16 token 子批次运行。所有活跃的主机内存专家通过 PCIe 并行流入执行环,与计算重叠进行。

趟末物理显存整合

引擎会学习提示和早期生成实际需要的专家,并在第一趟结束时将最活跃的 5 个专家物理交换到 VRAM 热槽,而不改变模型的逻辑路由轨迹。

作者表示,热提示处理速度从 3–6 tok/s 提升到 61.80 tok/s,标准提示的 TTFT 现在几乎即时。

专家缓存与路由的非干扰性:在 MoE 推理中,路由器为每个 token 选择专家,若缓存策略频繁改变哪些专家驻留在快速存储中,可能导致路由轨迹与缓存内容不一致,引发重复加载或正确性问题。Betelgeuse 的“位置无关缓存分区”维护每层 20 个常驻槽位(5 个 VRAM 热槽 + 15 个主机内存槽),并采用严格非干扰路由——即缓存决策不改变模型的逻辑路由选择,只影响物理驻留位置。这样活跃专家可稳定驻留,减少 PCIe 重复搬运,同时保证输出与原始模型一致。

PCIe 并行流与计算重叠:预填充时,主机内存中的专家权重需通过 PCIe 总线传入 GPU。若顺序执行“加载→计算→加载→计算”,GPU 会在等待总线时大量空闲。Betelgeuse 的“单趟层优先预填充”将完整的 16 token 子批次一次性处理,所有活跃的主机内存专家通过 PCIe 并行流入执行环,与 GPU 计算重叠进行。这类似于 CPU 的预取与流水线技术:在计算当前层的同时,提前搬运下一层所需专家,从而把总线等待时间隐藏在计算之后,显著提升吞吐。

性能对比:Betelgeuse 与 Strata

作者提供了与 Strata 的基准对比。需要指出,Strata 在 RTX 5070 上使用 64GB 内存和 3.6 GB/s NVMe,而 Betelgeuse 运行在 RTX 3060、16GB 内存和 1.7 GB/s NVMe 上,两者硬件条件并不对等。

在相近的 RTX 3060 平台上,Betelgeuse 的热预填充为 61.80 tok/s,而 Strata 在 8K 提示下为 149 tok/s;但解码方面,Betelgeuse 为 18.15–18.92 tok/s,Strata 为 8–10 tok/s。作者还提到,如果升级到双通道 16GB 内存,预填充速度可从 61 tok/s 提升到 120 tok/s 左右。

其他指标包括:解码峰值 27.92 tok/s,代理工作解码 24.22 tok/s,冷 SSD 读取 0.00%,磁盘 I/O 等待 0.0 ms,峰值内存使用 10.61 GiB。这些数据来自作者自测,尚未经过独立验证。

精度与正确性验证

Betelgeuse 使用 Q8_XL(UD - 3.1)量化,而 Strata 使用 GSQ-RCO IQ2_XS。作者声称在多次运行中验证了 Python 语法和逻辑的正确性,但未提供详细测试方法。对于生产环境,建议用户自行进行任务级验证。

量化格式 Q8_XL 与 IQ2_XS:量化是用更低比特表示模型权重以压缩体积的技术。Q8_XL 通常指 8 比特量化(XL 可能代表特定分组或混合精度策略),在精度和体积间取得较好平衡;IQ2_XS 则是约 2 比特的极低比特量化,体积更小但精度损失更大。本文中 Betelgeuse 运行 Q8_XL 的 305.6+110.6GB 专家骨干,而 Strata 使用 GSQ-RCO IQ2_XS,两者模型精度不同,直接比较速度需谨慎。作者强调“不是在跑 IQ2_XS 小模型”,意在说明 Betelgeuse 在更高精度下仍达到可用速度,这是其技术价值的重要前提。读者在复现时应关注量化格式对显存占用、加载带宽和输出质量的影响。

工程细节:Engram 表与 DSpark 草稿器

110 GB 的 Engram 表完全放在 NVMe SSD 上。由于 Engram 只在第 1 层和第 14 层激活,且每个 token 只触及 48 行(约 192 KB),这些活跃行在 t=0 时被暂存到 2MB 的 VRAM 缓冲区,因此 110 GB 文件基本不占 RAM,也不引起 CPU 图分割。

此外,项目使用 DeepSeek 原生的 DSpark 草稿器(p_min = 0.50),在结构化代码上达到约 80–90% 的接受率,每次扫描将前向传播分摊到 4 个以上 token。缓存热身后,磁盘读取降至 0.00%,生成稳定在 18–19 tok/s,无交换抖动。作者提到 DSpark 在 RTX 3060 上默认关闭,启用可增加 2–13% 的性能。

Engram 表:可理解为模型中的大型稀疏查找表或记忆模块,存储大量离散知识片段。本文中 Engram 表达 110GB,若全部载入内存将远超预算级 PC 容量。其关键特性是稀疏激活:只在第 1 层和第 14 层被查询,且每个 token 仅触及 48 行(约 192KB)。Betelgeuse 利用这一点,将活跃行在 t=0 时暂存到 2MB 的 VRAM 缓冲区,使 110GB 文件基本不占 RAM,也不触发 CPU 图分割。这是一种“按需分页”思路:只把当前 token 需要的极小片段搬入显存,而非加载整个表。

DSpark 草稿器与投机解码:DSpark 是 DeepSeek 原生的草稿模型,用于投机解码(speculative decoding)。其原理是:先用小型草稿器快速生成多个候选 token,再由大模型并行验证;若草稿 token 被接受,则一次前向传播可产出多个 token,从而提升解码速度。本文中 DSpark 在结构化代码上接受率达 80–90%,每次扫描将前向传播分摊到 4 个以上 token。p_min = 0.50 是接受阈值参数,控制草稿器与验证器之间的权衡。作者提到 DSpark 在 RTX 3060 上默认关闭,启用可增加 2–13% 性能,说明其收益依赖任务类型与硬件条件。

局限与展望

当前版本在 sm_86 架构上表现最佳,未来版本将尝试进一步压缩。作者没有透露具体发布时间。对于想要复现的用户,需要注意:单通道内存是明显瓶颈,双通道可带来近乎翻倍的预填充提升;此外,所有性能数据均来自作者单方测试,实际体验可能因系统配置、驱动版本和任务类型而异。

项目已在 GitHub 开源(Betelgeuse-AI/Betelgeuse),作者欢迎就内存分层和门铃同步提问。

要点总结

  • 在 RTX 3060 12GB + 16GB 内存上运行 DeepSeek V4.1 Flash Q8_XL,解码约 19 tok/s,预填充约 62 tok/s。
  • 预填充瓶颈通过位置无关缓存分区、16 token 单趟层优先预填充和趟末显存整合解决。
  • Engram 表利用稀疏激活特性,几乎不占 RAM;DSpark 草稿器提升解码效率。
  • 与 Strata 的对比显示硬件条件不同,需谨慎解读;双通道内存可显著提升预填充。
  • 性能数据来自作者自测,建议独立验证后再用于生产。
#DeepSeek V4.1 Flash#外存MoE#预填充瓶颈#RTX 3060#Betelgeuse#本地大模型#MoE推理优化
分享:

相关推荐