华为开源MACaQ:64分钟量化千亿模型,llama.cpp 1.0发布

华为量化工具、llama.cpp 1.0等动态共同推动大模型在普通硬件上高效运行。
本期AI动态围绕“让大模型跑在普通硬件上”展开:华为开源量化工具MACaQ将千亿参数模型4比特量化压缩至64分钟,峰值显存32.5GB,推理速度提升2倍以上;llama.cpp发布1.0版本,承诺接口稳定并支持超150种架构,投机解码使单张RTX 5090生成速度接近翻倍;MiniMax开源4K生图模型经社区量化后仅需6.4GB显存,8G显卡可跑;编程智能体榜单引入单题成本维度,DeepSeek V4.1 Flash以约0.3美元/题凸显性价比;谷歌Gemini 4.2智能体助数学家形式化百年难题,自动生成180万行代码。这些进展共同削平显存与速度门槛,经济性成为规模化使用AI的核心竞争力。
本地部署大模型的两大门槛——显存和速度,正在被同时撬动。华为开源了一款量化工具,把千亿参数模型的4比特量化压缩到64分钟量级;另一边,llama.cpp 正式迈入1.0阶段,承诺接口稳定。再叠加 MiniMax 生图模型在8G显卡上跑通、编程智能体榜单把「单题成本」摆上台面,本期的AI动态几乎都指向同一个方向:让大模型真正跑在普通硬件上。
华为MACaQ:把千亿模型量化压进64分钟
据B站「Will叔每日AI动态」的分享,华为开源的量化工具MACaQ完成了一次颇具指标意义的实测:将一个千亿参数规模的模型完整量化为4比特,用时约64分钟,峰值显存占用为32.5GB。

更有说服力的是量化后的推理表现——预填充阶段快了约2.3倍,解码阶段快了约2.6倍。对实际使用来说,预填充速度决定长提示词的首字响应时间,解码速度决定后续吐字的流畅度,两者同时获得成倍提升,意味着量化不只是「省显存」的妥协,而是能在生产场景里直接感知到的体验改善。
这个结果的意义在于把量化从「一个需要跑一整天的离线任务」变成了「一顿饭功夫就能完成的日常操作」。模型迭代频繁的团队,不必再为每次换模型而预留漫长的量化窗口。
量化是把模型权重从高精度浮点数(如16位)映射到低位宽(如4位)的过程,能显著降低显存占用和计算量,但会引入精度损失。常见的训练后量化(PTQ)无需重新训练,通过校准数据确定缩放因子;而量化感知训练(QAT)在训练中模拟量化误差,精度通常更高但成本更大。文章提到的“4比特量化”属于极低位宽,对校准和算法设计要求很高,MACaQ能在64分钟内完成千亿模型量化,说明其校准和并行策略效率突出。
llama.cpp 1.0:本地推理的接口终于稳了
llama.cpp 正式发布1.0版本,官方承诺接口进入稳定状态,并支持超过150种模型架构。

对依赖它构建应用、封装工具链的开发者而言,「接口稳定」比任何单点性能提升都更重要——它意味着升级不再轻易打断现有集成,围绕它生长的生态可以放心投入。
另据实测,千问系列的某一模型在开启投机解码后,单张RTX 5090上的生成速度从每秒74个token提升到134个token。接近翻倍的吞吐,说明投机解码这类「用草稿模型加速」的路线在消费级显卡上已经足够实用,本地推理的性能天花板还在被持续推高。
投机解码(Speculative Decoding)是一种推理加速技术:用一个轻量级草稿模型快速生成多个候选token,再由目标大模型并行验证,保留其中被接受的token。由于验证可以批量进行,整体吞吐能显著提升,且输出分布与目标模型一致(理论上无损)。草稿模型越小、接受率越高,加速越明显。文章中提到千问系列模型在RTX 5090上开启投机解码后速度从74 token/s提升到134 token/s,正是这一机制在消费级显卡上的典型收益。
MiniMax开源生图模型:8G显卡也能跑
MiniMax 开源的4K生图模型 H3 Image 原版需要68GB显存,这个数字足以把绝大多数个人用户挡在门外。但据分享,社区在很短时间内就做出了20多个量化版本,下载量突破11万,最小的量化版本只需6.4GB显存,8G显卡即可运行。

这是一个值得留意的模式:开源模型发布后,量化社区的反应速度往往决定了它的实际传播半径。原版参数再漂亮,跑不起来就没有用户;而一轮快速量化,能在几天内把硬件门槛从数据中心拉到消费级显卡。开源模型的影响力,越来越取决于它能否被「二次分发」到普通人的机器上。
编程智能体榜单:性价比成了新维度
Artificial Analysis 更新了编程智能体榜单,DeepSeek广告 V4.1 Flash 的分数并非第一,但每道题的成本仅约0.3美元,比 Kimi 便宜近10倍,性价比表现突出。

这个维度的重要性正在上升。当各家模型的绝对能力差距逐渐收窄,单题成本、单位任务的经济性就成为选型的关键变量。尤其对需要大规模跑评测、批量执行编程任务的团队,成本差距会被任务量直接放大,便宜近10倍的模型即使分数略低,也可能在总产出上更划算。
Artificial Analysis 是一家独立的人工智能模型基准测试与分析机构,其榜单常被用于横向比较不同模型在编程、推理等任务上的表现。与单纯看准确率不同,该榜单近年引入“单题成本”等经济性指标,反映模型在实际部署中的性价比。对于需要批量调用API的团队,单题成本乘以任务量就是总开销,因此即使分数略低,低成本模型也可能更划算。
谷歌的智能体:从解题到形式化证明
谷歌方面,Gemini 4.2 智能体系统帮助数学家形式化了多个百年难题,仅其中一个方向就自动写了180万行代码。这类工作的价值不在于「AI替代数学家」,而在于把人类数学家的证明思路转译为机器可验证的形式化代码,这部分工作枯燥、耗时、易错,正是智能体擅长的领域。此外,据分享 Gemini 4.5 已在 Arena 进行灰度测试。
形式化证明是指将数学证明用机器可验证的形式化语言(如Lean、Coq、Isabelle)完整写出,使计算机能逐步检查每一步逻辑的正确性。这一过程极其繁琐,需要把人类直觉性的证明转化为严格的符号推导,通常耗时数年。智能体系统可以自动生成大量形式化代码,辅助数学家完成这一枯燥环节,但最终的正确性仍由证明助手内核保证,因此不会引入不可信的“AI幻觉”结论。
三条线汇成同一个趋势
把本期动态放在一起看,脉络相当清晰。量化工具在压缩显存与时间成本,llama.cpp 在稳定本地推理的基础设施,开源生图模型靠社区量化迅速降低硬件门槛——它们共同削平的是同一道坎:让模型在普通设备上跑得动、跑得快。而编程智能体榜单对成本的强调,则从另一个角度给出同样的答案:规模化使用AI时,经济性本身就是核心竞争力。
对开发者来说,接下来的动作或许很朴素:关注量化工具链的成熟度,关注推理框架的接口稳定性,在选型时把成本纳入同一条评估曲线。硬件不再是天花板的时候,谁能把模型高效地用起来,差距就体现在这里。
相关推荐

Zed编辑器发布v1.29.2:一次常规版本迭代的观察
Zed编辑器发布v1.29.2补丁版本,由@JosephTLyons完成版本升级,提交经GitHub签名验证。本文梳理该版本的基本信息、补丁版本的含义以及对用户升级的实际建议。

Anthropic IPO遭质疑:Hacker News热议其上市时机
Hacker News出现「Just say no to Anthropic's IPO」帖子,引发对Anthropic上市时机与AI公司资本化的讨论,涉及估值泡沫与使命独立性等议题。

Genie 4世界模型上手:像木偶师一样实时导演世界
Google DeepMind 世界模型 Genie 4 深度解析:Special Guest X 实测展示如何用提示词实时导演场景、通过 Project Genie 构建自定义交互应用,以及提示词即种子的可复现设计。