Ollama v0.40.6 发布：新增 q2_0 量化并优化 Windows 稳定性

Ollama 发布了 v0.40.6 预发布版本，这次更新虽然改动条目不多，但涉及量化格式扩展、Windows 平台稳定性以及云端 Code 辅助功能三个方向，对日常使用 Ollama 跑本地模型的开发者和运维人员都有实际影响。

Windows 端修复僵尸进程问题

本次更新中，贡献者 dhiltgen 提交的改动（#18500）聚焦于 Windows 平台：防止 runner 进程在异常退出后成为孤儿进程继续占用资源。

在 Windows 上运行 Ollama 时，如果主进程被强制关闭或崩溃，负责推理的 runner 子进程有时不会随之退出，而是残留在系统中持续占用显存和内存。对于需要频繁启停模型或进行长期压测的用户来说，这类残留进程会逐渐累积，最终导致新模型无法正常加载。该修复让 Windows 下的进程生命周期管理更加干净，属于稳定性层面的重要补丁。

Windows 进程管理修复

孤儿进程与僵尸进程的区别：孤儿进程指父进程已退出、但子进程仍在运行，此时子进程通常被系统重新挂到其他进程下收养；僵尸进程则指子进程已结束、但父进程没有回收其退出状态，进程表项仍被占用。文中描述的 runner 残留更接近前者的资源泄漏：主进程（ollama serve 或 CLI）被强制关闭后，负责实际推理的 runner 子进程没有被通知退出，继续持有显存与内存。Windows 与 Unix 的进程管理模型不同，缺少 POSIX 的信号传播语义，因此跨平台代码往往需要在 Windows 上显式串联父子进程的生命周期，这也解释了为何此类问题常在 Windows 上先暴露。

新增 q2_0 张量与文件类型

另一处核心改动来自 jmorganca（#18967）：为 GGUF 格式增加了 q2_0 张量类型和对应文件类型支持。

q2_0 属于极低比特量化方案，每个权重仅用约 2 bit 表示。这类格式的意义在于进一步压缩模型体积，让参数量较大的模型有机会在显存或内存受限的设备上被加载。代价是精度损失会明显高于 q4、q5 等常见量化级别，因此更适合对回答质量容忍度较高的场景，比如简单分类、本地实验或在边缘设备上做原型验证。

从工程角度看，支持 q2_0 意味着 Ollama 的量化覆盖范围继续向低比特端延伸，配合已有的 q4/q5/q8 选项，用户在模型体积与质量之间有了更细粒度的权衡空间。

什么是量化与比特位：模型权重默认以 16 位浮点（FP16）存储，量化就是用更少的比特近似表示这些权重，从而在几乎不改变计算结果的前提下压缩体积、降低内存带宽需求。常见做法把权重分组（block）后共享一个缩放因子，组内每个权重只保留很少的比特。比特数越低，模型越小、加载越快，但每个权重的表示误差也越大，累积到整个网络就会表现为回答变差、逻辑断裂或重复。q4、q5、q8 分别代表每组权重约用 4、5、8 bit 存储，而 q2_0 将其压到约 2 bit，压缩率是 q4 的两倍左右。

GGUF 与张量类型：GGUF 是 llama.cpp 生态主导的模型文件格式，Ollama 直接复用其张量类型枚举来定义量化方式。每种量化方案在文件里对应一个 TensorType 编号（如 Q4_K、Q5_K），加载器据此选择相应的反量化内核。新增 q2_0 张量类型意味着 Ollama 的文件解析层和推理内核都需要能识别并正确解码这种新编码，否则模型会在加载阶段直接报错。

云端 Code 辅助与 --ask 模式改进

jberg5 带来了两项与开发者体验相关的改动。一是「Launch clef in Ollama's cloud」（#19036），将 clef 相关能力引入 Ollama 云端；二是「use identifiers for --ask mode question keys」（#19041），对 --ask 模式下的问题键改用标识符处理。

这两项改动偏向内部机制与云端服务衔接，普通用户直接感知可能不强，但如果你在使用 Ollama 云端能力或 --ask 交互模式，键值处理方式的调整会影响请求构造的稳定性与一致性。

版本信息与升级建议

该版本由 github-actions 于 10 月 16 日发布，提交为 2476d5e，并带有 GitHub 验证签名（GPG key ID: B5690EEEBB952194）。完整的变更对比可以从 v0.40.5 到 v0.40.6-rc0 查看，本次贡献者包括 jmorganca、dhiltgen 和 jberg5。

需要留意的是，当前标记为 Pre-release，意味着它尚未进入正式稳定通道。如果你的生产环境依赖 Ollama，建议先在测试机上验证 q2_0 模型的加载表现以及 Windows 进程管理行为，再决定是否跟进。对于只是想尝鲜低比特量化的用户，可以单独拉取该预发布版本做实验，而不必替换现有稳定版本。

总体来看，v0.40.6 是一个偏维护与格式扩展性质的版本，没有引入破坏性变更，主要价值集中在 Windows 稳定性修复和量化格式边界的拓展上。