Unsloth v0.1.910-beta 发布：Flint 编程代理、MOSS-Image 与 NVIDIA Bolt E4B 本地可跑

Unsloth 最新发布的 v0.1.910-beta 一次性打包了三款值得关注的新模型，同时围绕本地推理、微调与桌面端体验做出一批实质性改进。从 40B 的编程代理 MoE 到 5.1B 的文生图模型，再到 NVIDIA 的工具调用微调版本，这次更新把「消费级硬件跑前沿模型」的边界又往前推了一截。

三款新模型：从代码代理到图像生成

Flint：40B MoE，24GB 显存即可运行的编程代理

Recursive 的 Flint 是一个面向编码代理的 40B MoE 模型，激活参数仅 2.5B，支持推理、工具调用与 256K 上下文。官方在 SWE-bench Pro v2 上给出的成绩是 89.7 分，对比 Qwen 3.6 的 73.8 分有明显优势。在 3-bit 量化下、短上下文场景中，Flint 可以塞进 24GB 显存，这意味着单张消费级显卡就能承载一个真正可用的编程代理。

对于本地开发场景，这个组合的意义在于：过去跑编程代理往往依赖云端 API，现在可以把模型、工具调用循环和上下文都留在本机，隐私和延迟都更可控。

MoE（Mixture of Experts，混合专家） 是一种稀疏激活的模型架构：模型内部包含多个并行的「专家」子网络，每次前向计算时由路由网络只挑选其中少数几个专家参与运算。因此总参数量（如 40B）与实际激活参数量（如 2.5B）可以相差一个数量级，推理算力开销按激活参数而非总参数计算。这也是 Flint 能在消费级显卡上运行的关键——显存仍需容纳大部分权重（可借助量化压缩），但每生成一个 token 所消耗的计算量只对应 2.5B 规模。MoE 的代价是显存占用高、对带宽敏感，并且在批量较小或任务分布偏移时路由效率可能下降。

3-bit 量化 指把模型权重从 16 位浮点压缩到约 3 位精度存储，显存占用可降至原来的五分之一左右，代价是精度损失，通常在长上下文和复杂推理任务上更为明显。文中特别强调「短上下文场景」，正是因为上下文越长，KV cache 等额外显存开销越会挤占原本留给权重的空间。

MOSS-Image：5.1B 的文生图模型，支持中英文文本渲染

OpenMOSS 的 MOSS-Image 是一个 5.1B 的图像模型，主打高质量生成，同时提供 SFT 与 Base 两个版本。它能在生成图像中渲染英文或中文文本，这是很多开源图像模型的短板。资源门槛方面，16GB 显卡即可运行，官方同时放出了 GGUF 版本，Mac 以及没有受支持 GPU 的机器也能跑。

配合这次更新中的多卡拆分能力，原本放不进单卡的图像与视频模型现在可以在多张 NVIDIA GPU 之间切分，而不是退回系统内存流式加载。此外，新的 Hires fix 针对 SDXL、FLUX.1、Qwen-Image 和 Z-Image 实现了一步式放大与精修。

GGUF 是 llama.cpp 生态使用的模型文件格式，把权重、量化参数与元数据打包在单一文件中，并针对 CPU、Apple Silicon 的统一内存等非 CUDA 环境做了优化。它与 PyTorch 的 safetensors 格式并非一一对应，通常需要转换与再量化，因此同一个模型往往会同时提供原始权重和多个量化等级的 GGUF 版本。对 Mac 用户而言，GGUF 意味着可以直接借助 Metal 后端在本地推理；对没有受支持 GPU 的机器，则可以纯 CPU 运行，只是速度更慢。

Hires fix（高分辨率修复） 是图像生成中的常规后处理流程：先生成低分辨率图像以确定构图，再对图像做放大并补充细节重绘，从而避免直接在超高分辨率上采样导致的构图崩坏与显存爆炸。文中提到的一步式放大与精修，是把原本需要多步的放大加重绘流程压缩为单步完成，属于对采样效率的优化。

NVIDIA Nemotron 3.5 Bolt E4B：工具调用能力大幅补强

NVIDIA 基于 Gemma 4 E4B 微调出的 Nemotron 3.5 Bolt E4B 是一个面向工具调用与指令遵循的推理版本。据 Unsloth 发布说明，它在 21 项 NVIDIA 测试中有 16 项超过原版 Gemma 4 E4B，提升最集中在工具使用与多轮对话。Tau2-Bench 成绩为 63.2，原版为 38.7，差距相当显著。

说个细节，Gemma 4 E2B 与 E4B（含 Nemotron 版本）的 DPO 训练此前会崩溃的问题也已修复。

Mac 上的 MoE 推理：把专家放到 SSD

这次更新里最实用的性能改进之一，是 MLX MoE 模型在内存不足时的处理方式：超出内存的专家权重保留在 SSD 上，代价是回复变慢。按发布说明，Qwen3.8-Flash-Next 可以在一台 32GB 的 Mac 上运行，DeepSeek^广告-V4-Flash 和 GLM-5.3-Flash 所需内存也远低于其参数规模所暗示的水平。

这条路径并非没有代价——SSD 读写会拖慢生成速度，但它改变了一个前提：模型规模不再被硬性限制在统一内存容量之内。对于想在 Mac 上试验大 MoE 模型的开发者，这是一个低成本入口。

MLX 是 Apple 为 Apple Silicon 提供的数组计算与机器学习框架，利用统一内存架构让 CPU 与 GPU 共享同一块内存，无需显式拷贝。统一内存的好处是省去了主机与显存之间的传输，但也意味着模型权重与系统、其他应用共用同一容量上限。

把超出内存的专家权重留在 SSD 上、按需换入，本质上是一种专家级的分页/卸载策略：由于 MoE 每次只激活少数专家，被换入换出的数据量相对可控，但 SSD 的顺序与随机读写带宽远低于统一内存，一旦命中率下降，生成速度就会明显变慢。这条路径的实际体验高度依赖于模型的路由局部性——若相邻 token 反复激活不同专家，抖动会非常严重。这也解释了为什么文中把它定位为「低成本试验入口」而非生产方案。

微调与训练：REAP 专家剪枝与 OpenAI 兼容 API

MoE 专家剪枝：砍掉 25% 或 50%

Windows 与 Linux 的 Export 页面现在支持用 REAP 剪掉 MoE 模型中 25% 或 50% 最不常用的专家，代价是部分质量损失。Python 侧的 reap_prune 据称比 llm-compressor 的实现快最多 54 倍。对于想把大 MoE 压缩到本地硬件上的团队，这是一个直接的工程手段。

REAP（Router-weighted Expert Activation Pruning） 是一类针对 MoE 模型的专家级结构化剪枝方法：统计各专家在校准数据上的路由权重与激活频率，据此估计每个专家对输出的贡献，再整体移除贡献最低的一部分专家。与逐元素稀疏化不同，剪掉整个专家可以直接缩小模型的总参数量与显存占用，且不需要特殊的稀疏推理内核；代价是路由分布被改变，被删专家原本负责的能力会出现退化，因此通常需要少量再训练或校准来恢复质量。

需要注意的是，剪枝比例与质量损失并非线性关系：25% 往往较为安全，50% 则可能显著影响特定领域表现。实践中建议用贴近目标用途的校准集来评估，而不是只看通用基准。

训练效率与接口兼容

训练侧的变化比较密集：DPO 及其他需要填充序列的训练在 NVIDIA Ampere 及以上架构上速度提升最多 3.8 倍，内存占用更低；在不支持 bf16 的 GPU 上训练 Qwen3-MoE、Gemma 3 与 Gemma 4，注意力内存占用最多降低 7 倍（需 torch 2.13 或更早版本）。语音模型方面，Parakeet、Canary 与 CTC 的训练内存最多降低 55%。

接口层面，Unsloth 现在支持 OpenAI 的微调 API，可以用 OpenAI SDK 上传数据集并对本地模型跑监督微调。unsloth train 命令也扩展到了视觉模型，音频模型则在非 Mac 平台可用。

桌面端：聊天专用安装与安全修复

Unsloth Desktop 首次启动时可以选择「仅聊天（GGUF）」安装，体积显著更小，训练功能之后可在设置里补装。设置中的 Chat 页面现在可以查看、编辑、清除或关闭每次对话发送给模型的内存笔记；文档检索对话里的 Show passages 会列出模型实际收到的原文，并能跳转到对应页面。

安全方面有一条需要留意：Unsloth 的安装、更新以及 pip install -U unsloth 现在会拒绝 eMudhra 被攻破的 emSign 证书——这类证书可被用于冒充网站。不过可选的 vLLM 与 SGLang 引擎仍然信任这些证书。另外，带 Unsloth API key 的请求不能再无沙箱地运行 Python 和终端工具，只有 Unsloth UI 可以授权完全访问。

小结

这次更新的主线很清楚：把「能跑」的门槛继续压低。Flint 让编程代理进入 24GB 显存区间，MOSS-Image 让 16GB 显卡也能做带文本渲染的图像生成，NVIDIA Bolt E4B 则补上了小模型在工具调用上的短板。配合 SSD 专家卸载、REAP 剪枝和 OpenAI 兼容微调接口，本地 AI 工作流的可行性又提高了一档。真正的限制可能不再是硬件，而是你愿意为速度妥协多少。