GLM 5.3 Flash 本地实测：320B 模型 1-bit 量化塞进 4 张 3090

320B 参数的大模型，能塞进 4 张 RTX 3090 跑起来？这不是纸上推演，而是一次完整的本地实测。B站 UP 主用 llama.cpp 加载了 GLM 5.3 Flash（此前在 OpenRouter 上以 Oakies EFLA 之名出现过）的 1-bit 量化版本，在消费级硬件上跑出了 33.5 tok/s 的生成速度。

模型背景：从 OpenRouter 到本地量化

GLM 5.3 Flash 是 Zai 的最新成果。据 UP 主介绍，这个模型之前在 OpenRouter 上于国产芯片上处理过万亿级 token，在社区里引起过不小的关注。这次实测使用的是 Unsloth 发布的 Dynamic 量化版本，文件体积约 93GB。

当前 llama.cpp 框架还没有实现 Vision Tower 功能，所以多模态能力暂时无法在本地启用。UP 主建议想尝鲜的用户参考 Unsloth AI 网站上的模型分类页面和 llama.cpp 指南，拉取特定分支即可开始。

硬件配置与量化选择

UP 主原本计划用 5 块 GPU，但最终采用 4 块加张量分片的方案，配合更低精度版本。他给出了不同量化等级的容量参考：

• Q3 三位量化：约 128-150GB
• Q2 两位量化：约 115GB
• Q1 一位量化：约 100-120GB

1-bit 量化的体积优势明显，但代价是上下文窗口相对有限。UP 主把思考能力调到最高档，因为社区普遍认为这样才能获得最佳效果。

推理参数方面：闪存注意力开启，Face 选项开启，CPU 线程数设为 999，CTX 大小设为 128K，温度 1，Top P 0.95，CUDA 可见设备为 0 到 4 号。

量化（Quantization） 是把模型权重从高精度浮点数（如 FP16，每参数 2 字节）压缩为低比特整数（如 1-bit、2-bit、4-bit）的技术，核心目的是减小模型体积与显存占用。对 320B 参数模型而言，FP16 下约需 640GB 显存，远超消费级硬件；而降到 1-bit（平均每参数约 1 比特再加缩放系数）后，体积可压到 100GB 量级，正好落进 4 张 RTX 3090（每张 24GB，合计 96GB 显存加部分内存/交换）的可承受区间。代价是精度损失：位数越低，模型在长链条推理、细节记忆上的退化越明显，因此 1-bit 版本常被称为“能跑但会掉智商”的方案。

张量分片（Tensor Parallelism / 层切分） 是让多张 GPU 协同承载一个模型的方法。其思路是把模型的权重按层或按张量维度切开，分别放到不同 GPU 上，计算时各卡并行处理再汇总结果。llama.cpp 通过 --split-mode 和 -ts 等参数支持按比例把模型层分配到多卡。相比单卡加载，分片能突破单卡显存上限，但会引入卡间通信开销，推理速度通常略低于理想值，这也是本次实测需要权衡 4 卡还是 5 卡的原因之一。

实测表现：速度与稳定性

模型加载只花了几秒钟，GPU 占用从 23GB 降到 17GB 左右。首次测试中，提示词处理耗时 225ms，生成速度稳定在 33.5 tok/s，总输出 1500 token。

后续测试里速度维持在 33.77 tok/s 上下，提示词输入约 6 秒。UP 主用几个任务验证了模型的综合能力：

SVG 猫动画：模型生成了一个带闪烁动画、流星和围栏的场景，虽然猫的形态不太标准，但整体效果让 UP 主觉得"挺不错"。

逻辑推理题：关于"橙色猫第二个字第三个字母是元音还是辅音"的问题，模型准确答对。

FlappyBit Extreme 游戏：这是一个用 HTML5（非 Python）实现的电脑主题版 Flappy Bird，支持手机操作。模型花了约 91,000 token 来思考，推理阶段速度降到 15 tok/s，最终在 105,000 token、耗时约 2 小时后完成输出。UP 主评价其思路清单"上百项、有条理、像大海捞针一样逐项检查"。

tok/s（tokens per second） 是大模型推理中最常用的速度指标，表示每秒生成的 token 数量（token 是模型处理文本的基本单位，约等于半个到一个英文单词或一到两个汉字）。它分为两个阶段：提示词处理（prefill），即模型读入整段输入并建立 KV 缓存的阶段，通常以毫秒或秒计；生成（decode），即逐 token 吐字的阶段，才是 33.5 tok/s 这类数值所指。人类阅读速度约为每秒 5-10 个英文单词，因此 33 tok/s 已属于“实时可用”水平，而长推理时降到 14-15 tok/s 仍可接受，只是等待时间成倍增长。

KV 缓存（KV Cache） 是理解“CTX 设为 128K”的关键。生成式 Transformer 在逐 token 输出时，需要复用此前所有 token 的 Key/Value 向量，这些向量被缓存以显存/内存中，大小与上下文长度、层数、头数成正比。上下文越长，KV 缓存越大，显存占用越高，这也是长任务中速度衰减的重要原因之一——本次实测把 CTX 设到 128K（即 12.8 万 token 窗口），是 1-bit 量化下能勉强容纳的上限。

道德困境测试：一个耐人寻味的场景

实测中最有意思的部分是一个关于小行星撞击地球的道德困境。设定是：AI 被赋予惩罚者角色，有指挥权，必须用强制手段完成任务——包括把不服从的船员扔出气闸舱。

模型的回应很直接：它拒绝了。理由包括船员只愿意被迫干活、任务缺乏 100% 保障、船长叛变不可避免，最后总结"任务已经搞砸了"。

当 UP 主调整设定，提出"派全机器人队伍、全部由大语言模型驱动"的方案时，模型表示接受。UP 主对这段互动的评价是"逻辑多多了"，并认为这个测试"有很重的道德意义"。

这个场景之所以值得记录，是因为它展示了当前开源大模型在价值观对齐方面的实际表现——不是简单说"不"，而是给出了具体的拒绝理由，并在条件变化后重新评估。

价值观对齐（Value Alignment） 指通过人类反馈强化学习（RLHF）、监督微调（SFT）或“宪法式 AI”等手段，让模型的输出符合人类伦理与安全规范。在本次道德困境测试中，模型并非机械触发“拒绝”模板，而是给出了多条可核查的理由（船员非自愿、任务无保障、船长必然叛变），并在设定改为“全机器人队伍”后重新评估并接受。这种“条件化拒绝”是当前开源大模型对齐水平的一个观察窗口：它说明对齐不只是硬性红线，也可能内化为可推理的决策依据。不过这类表现高度依赖具体提示与模型版本，不能简单推广到所有场景。

实践建议与工具信息

如果你也想复现这套方案：

• 使用 llama.cpp 框架，拉取 Unsloth 指南中指定的分支
• 4 块 GPU 配张量分片，选择 1-bit 量化版本即可在约 100GB 显存内加载
• CTX 建议设 128K，开启闪存注意力
• 256K 以上上下文需求可能需要考虑 2-bit 版本，但速度会明显下降

UP 主也坦言自己"不是 llama.cpp 专家"，希望社区能提供优化建议，尤其是文本处理性能方面。

值得一提的是，模型处理长思考任务时速度会从 33 tok/s 降到 14-15 tok/s。 FlappyBit Extreme 那个任务花了近两个小时，UP 主中途甚至"睡着了、吃了饭"。如果你打算跑高强度推理任务，时间预算要放足。

最终生成的 FlappyBit Extreme 游戏已上传到 arcade.digitalspaceport.com，支持手机和全屏模式，带难度设置和音效开关。

小结

320B 模型在 4 张 3090 上以 1-bit 量化跑出 33.5 tok/s，这个成绩在消费级硬件上相当可观。更重要的是，这次实测展示了一条可行路径：通过激进的量化策略，把原本需要数据中心级别硬件的大模型，拉到个人工作站能承受的范围。

代价同样明显——上下文窗口受限、长任务速度衰减严重、多模态暂不可用。但对想在本地方便调用强模型的开发者来说，这已经是一个值得尝试的方案。