4卡R9700实测:Qwen3.8长上下文并发推理表现

四卡R9700实测:prefill恒定6800 tok/s,缓存命中后8用户128K首token仅2.5秒。
一位Reddit用户分享了自建4卡Radeon AI PRO R9700推理服务器的完整基准。系统采用EPYC 7402P平台、128GB DDR4,四张R9700限功耗210W,整机约1.6万加元,运行Ubuntu与ROCm 10.1,以Radiance框架tp4部署Qwen3.8 MoE模型,权重全驻显存。测试显示prefill总吞吐稳定在约6800 tok/s,与并发用户数无关;最坏情况是8个全新128K提示同时到达,所有用户等待约2.5分钟。而缓存命中的后续轮次表现优异,8用户×128K下首token仅0.2至2.5秒,每用户写入80至225 tok/s。作者还指出主机前缀缓存需按用户数×上下文配置,并纠正了README中host-pool-mib的继承错误。

一位Reddit用户在r/R9700版块分享了他自建4卡Radeon AI PRO R9700推理服务器的完整基准测试。这套系统不是跑分玩具——它是一台面向业务的多用户推理服务器,用于处理客户敏感数据,此前他一直依赖Strix Halo 395+ 128GB这类统一内存设备,现在终于把负载迁移到了独立GPU集群。
有几个数字值得先摆出来:单用户写入速度约190 tok/s;无论多少用户并发,prefill总吞吐稳定在约6,800 tok/s;8用户各128K上下文时,缓存命中的后续轮次首token只需0.2到2.5秒,每用户写入80到225 tok/s。最坏情况是8个用户同时发送全新的128K提示,所有人等约2.5分钟才拿到首token。
硬件配置与成本
整机平台相当务实:EPYC 7402P处理器、Asrock ROMED8-2T主板、128GB DDR4 2666内存,三张Gigabyte R9700加一张XFX R9700,全部功耗限制在210W。电源是Seasonic Prime TX-1600W,机箱为Phanteks Enthoo Pro 2,前部三把140mm风扇、中部三把120mm、后部一把120mm排风。
作者特别提到,四张卡并非同一品牌,作为完美主义者他对此略有不满,但装进机箱后并不在意。CPU、内存、主板均从eBay购入,整套花费约1.6万加元。散热表现超出预期——满载时比他的空气净化器最高档还安静,完全没有喷气发动机的架势。
软件栈与模型部署
系统运行Ubuntu 26.04.1,使用内核7.0自带的amdgpu驱动和ROCm 10.1。推理框架是Radiance v1.17.0,Docker镜像按digest固定版本。模型为qwen3.8-next-flash-fp8-iq4r-moe,int8主干加4位码本专家,带MTP投机解码(3个token)。
在tp4配置下,整个模型常驻显存,每卡权重17.4 GiB。47.7 GiB的n-gram/PLE表固定在主机内存中,每卡KV缓存11.6 GiB,合计1.6M token,相当于8个完整的200K会话。启动参数包括--tp 4 --max-num-seqs 8 --max-model-len 200000 --placement expert_tiered,KV缓存使用fp8格式,投机解码3 token。
tp4(张量并行):将单个模型的权重切分到4张GPU上协同计算,是vLLM/SGLang等推理框架的多卡并行策略之一。与流水线并行按层切分不同,张量并行把每个权重矩阵本身切割,因此每层计算都需跨卡通信(all-reduce),对卡间互联带宽敏感。这也是文章强调「整个模型常驻显存、每卡权重17.4 GiB」的原因——tp4下任何一张卡的显存不足以容纳全模型,必须依赖高速互联。
MTP投机解码:Multi-Token Prediction,由模型自带的小预测头一次草拟多个候选token,再由主模型并行验证,接受则一次输出多个token。文章中的「3个token」即每步最多接受3个草稿token,能在不改模型质量的前提下提升解码吞吐,尤其适合显存带宽受限的单卡场景。
n-gram/PLE表:PLE(Per-Layer Embedding)为每一层维护独立嵌入,n-gram表则缓存高频词序列以加速或稳定生成。二者体积巨大(47.7 GiB)且访问稀疏,因此固定在主机内存而非显存,由CPU侧预取,避免挤占KV缓存空间。
测试方法与结果解读
测试使用真实英文技术文本(Radiance自己的文档),按服务器分词器切到精确token数。每个用户的提示以唯一的会话行开头,杜绝缓存复用。同一轮所有用户同时发起请求,构成最坏情况突发。第一轮是文档加问题(冷启动),第二轮是同一对话加回答再加追问,模拟agent工作模式。输出上限500 token,温度0.6,关闭思考,流式输出。
Prefill是固定成本,并发不改变总吞吐
最关键的发现是prefill吞吐与用户数无关,稳定在约6,800 tok/s。8个128K提示共1.02M token,耗时151秒。由于同时到达的冷提示被交错处理,所有用户几乎在同一时刻拿到首token。这意味着8×128K的极端场景下,每个人等约2.5分钟。
Prefill与Decode的算力特性差异:prefill阶段一次性处理整个输入提示,矩阵乘规模大、高度计算密集,GPU算力接近饱和,因此吞吐表现为一个与并发数无关的固定上限——加用户只是把同一批token交错排队,总吞吐不变。decode阶段每步只生成一个token,属显存带宽瓶颈,吞吐随并发上升而摊薄。这解释了为何8×128K的prefill总耗时约等于token总数除以6800 tok/s,也解释了为何加卡无法线性缩短首次长文档处理时间。
前缀缓存(prefix cache):把已处理过的提示前缀的KV缓存保留下来,后续请求若命中相同前缀可直接跳过重算。多轮对话中系统提示与历史轮次天然重复,命中率因此可达90%以上;命中部分的prefill成本被完全消除,这正是「后续轮次首token仅0.2-2.5秒」的来源。
后续轮次才是这套系统的杀手锏
缓存命中率达到94%至99%。即便8用户×128K,首token也只需0.2到2.5秒,每用户写入80到225 tok/s。上下文长度对写入速度影响很小——单用户在128K下189 tok/s,32K下195 tok/s,差距可以忽略。
第一轮的写入速度则取决于其他用户是否还在prefill。4用户时,先完成的用户在其他人的提示还在读取时就开始写入,最慢的用户掉到9至32 tok/s。8用户时大家几乎同时读完,然后一起以70至83 tok/s写入,反而更均匀。
主机前缀缓存要按用户数×上下文来配
作者在早期一次运行中使用--prefix-cache-mib 12288,8×64K的后续轮次只有71%命中,最坏首token达37.6秒,每用户仅9 tok/s。改成32768后,命中率98%,首token 1.5秒,每用户94 tok/s。这个差异相当显著。
他还指出README中四卡配置的示例行从双卡配置继承了--host-pool-mib 12288,但四卡时整个专家平面常驻显存,池中每卡只需约312 MiB。设成12 GiB反而无谓占用48GB内存,只剩3.6GB空闲。1024就足够了。
散热与功耗观察
prefill期间每张卡都顶在210W功耗上限。最长的8×128K测试段把中间两张卡推到91°C热点温度和92°C显存温度。考虑到机箱内四张卡紧密排列,这个温度虽高但仍在合理范围,作者对风道设计显然做了功课。
对本地推理选择的意义
这套配置的核心价值在于anchoring了一个现实基准:四张R9700在tp4下可以经济地承载多用户agent工作负载,尤其是高频短追问场景。prefill的固定吞吐意味着首次长文档处理无法通过加卡线性加速,但对已经进入对话流程的用户来说,体验相当流畅。
作者从Strix Halo迁移过来的动机也值得注意——敏感数据客户此前对使用任何AI推理都视为巨大风险,本地部署不是性能选择而是合规刚需。在这个前提下,6,800 tok/s的prefill和2.5秒的缓存首token已经不是妥协,而是可用的生产方案。
完整的并发测试还在继续,作者表示长上下文高并发组合的基准要跑两个小时。对于考虑类似配置的人来说,他踩过的前缀缓存和host-pool参数坑,可能是最有价值的公开信息。
相关推荐

Zed编辑器发布v1.29.2:一次常规版本迭代的观察
Zed编辑器发布v1.29.2补丁版本,由@JosephTLyons完成版本升级,提交经GitHub签名验证。本文梳理该版本的基本信息、补丁版本的含义以及对用户升级的实际建议。

Anthropic IPO遭质疑:Hacker News热议其上市时机
Hacker News出现「Just say no to Anthropic's IPO」帖子,引发对Anthropic上市时机与AI公司资本化的讨论,涉及估值泡沫与使命独立性等议题。

Genie 4世界模型上手:像木偶师一样实时导演世界
Google DeepMind 世界模型 Genie 4 深度解析:Special Guest X 实测展示如何用提示词实时导演场景、通过 Project Genie 构建自定义交互应用,以及提示词即种子的可复现设计。