#GGUF

共 6 篇相关文章

GGUF解析器因文件头整数溢出反复出现堆越界漏洞。本文介绍gguf-scan静态扫描工具,如何在加载模型前检测CVE漏洞集群,涵盖llama.cpp与PowerInfer相关公告及工具的实际覆盖边界。

GGUF与safetensors的争论常被误解为格式之争，但实际决定权在运行时。本文通过字节数据、运行时支持矩阵，揭示格式只是门禁，运行时才是关键。

开发者开源动态量化方法 Voodoo Dynamic Quant，采用 MIT 协议。它用梯度下降优化 GGUF 模型的逐张量量化布局，在激进低比特档位优于 Unsloth Dynamic 3.0，为低显存本地部署提供新工具。

bartowski 更新 Qwen3.8-27B-GGUF 模型仓库，引入逐张量布局映射（Per-tensor layout），以图表和表格展示每个张量的量化类型，提升 GGUF 量化的透明度与可解释性，帮助本地大模型用户更理性地选择量化版本。

IBM发布Granite 4.1系列开源大模型（Apache 2.0），Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕SVG测试不同量化级别，发现3B模型在SVG生成上表现一致——都很差，揭示了模型选型的关键启示。

IBM Granite 4.1开源模型发布，Unsloth提供21种GGUF量化版本。Simon Willison用鹈鹕骑自行车SVG测试发现：3B小模型中量化级别对生成质量影响微乎其微，最小模型反而画出最好的自行车。