Transformers v5.20.0发布：八大新模型与导出量化支持

Hugging Face 的 Transformers 库发布了 v5.20.0 版本，这次更新在模型生态、导出量化、并行训练和推理性能四个方向都有实质推进。对于日常使用推理和微调的开发者来说，最值得关注的是八个新模型的加入，以及导出流程中原生量化能力的落地。

八个新模型覆盖多模态、OCR与音频

Muse Spark Open：816B 参数的多模态 MoE

来自 Meta 的 Muse Spark Open 是一个多模态混合专家模型，同时接受文本、图像、音频和视频输入，输出为文本。它的总参数量达到 816B，每个 token 激活 42B，上下文窗口最高 1,048,576 tokens，且在不同模态之间共享这一窗口。模型针对 agentic 编程任务训练，包括多文件编辑、调试和工具调用。官方提供了 BF16 和 NVFP4 两种格式的 checkpoint。

Ling 3.0 Flash：混合注意力架构原生支持

InclusionAI 的 Ling 3.0 Flash 采用混合 MoE 设计，解码器将五个 Kimi Delta Attention（KDA）层与一个 Multi-head Latent Attention（MLA）层分组。MLA 块使用交错的旋转嵌入和逐头输出门，前馈块则组合了路由专家与共享专家。该模型已在 Transformers 中原生支持，加载类为 BailingHybridForCausalLM，无需再设置 trust_remote_code=True。

Kimi Delta Attention（KDA）与 Multi-head Latent Attention（MLA）都是为降低长上下文推理成本而设计的注意力变体。MLA 的核心思路是把键值投影压缩到一个低维潜向量中，推理时只缓存这个潜向量而非完整 K/V，从而大幅压缩 KV cache 占用；它在 DeepSeek^广告 系列中被普及。KDA 则是在线性/增量式注意力路线上的改进，通过可增量更新的状态避免显式存储全部历史 KV。两者的差异在于状态更新方式与表达能力的取舍：MLA 仍保留接近标准注意力的建模能力，KDA 的显存与计算随序列更接近线性增长。把二者按五比一的比例分组混用，是希望在长序列上兼顾效率与质量——多数层走轻量的 KDA，少量层用 MLA 保留全局建模能力。

Kolibri 1：面向德英双语的推理 MoE

Aleph Alpha 的 Kolibri 1 是一个聚焦德语和英语的 MoE 推理模型。其 50 层中，每一层通过 sigmoid 路由将每个 token 分配给 384 个专家中的 6 个，并额外增加一个共享专家。架构上，四个滑动窗口注意力层与一个全注意力层交替，RoPE 仅应用于滑动窗口层。

MiniCPM-V 4.7：引入 canvas M-RoPE

OpenBMB 的 MiniCPM-V 系列继续迭代。4.7 版本延续了 SigLIP 视觉编码器加 Qwen3.5 语言模型骨干的组合，支持 4x 和 16x 两种视觉降采样模式。相比 4.6，主要新增是 canvas M-RoPE：不再沿单一 1-D 序列为视觉 token 编号，而是把每张图像铺在 2-D 画布上，为每个视觉 token 分配 (temporal, height, width) 位置。这样同一图像的切片能保持空间关系，视频帧也能保持时间顺序。

M-RoPE（Multimodal Rotary Position Embedding）源自 Qwen-VL 系列，做法是把 RoPE 的位置维度拆成时间、高度、宽度三组，分别给视频帧、图像行、图像列编号，使同一帧的二维空间关系和多帧之间的时序关系都能被位置编码正确表达。MiniCPM-V 4.7 的 canvas M-RoPE 在此基础上改变了图像内部的编号方式：传统做法把图像展平成一维序列再编号，一旦图像被切分成多块，块之间的空间相邻性会在一维编号中丢失；把图像铺到二维画布上、按 (temporal, height, width) 分配位置后，切片仍保留原始的行列关系，视觉 token 之间的相对距离与其在图像中的真实距离一致。这对需要精细空间定位的任务（如文档问答、区域引用）尤其重要，也能让视频帧在时间轴上保持稳定顺序。

UnlimitedOcr：单次前向转写数十页

百度的 UnlimitedOcr 是一个 3B 参数的单一 OCR 模型，上下文长度 32,768 tokens。它基于 DeepSeek OCR 构建，将所有解码器注意力层替换为 Reference Sliding Window Attention（R-SWA）。这一改动让解码过程中 KV cache 保持恒定，因此模型可以在单次前向传播中转写数十页内容。它支持 "gundam" 模式（640x640 瓦片配合动态裁剪）和 "base" 模式（单张 1024x1024 视图），并可输出带边界框的区域检测结果。

标准解码器注意力的 KV cache 会随已生成 token 数线性增长，长文档转写因此面临显存膨胀与逐页推理的开销。滑动窗口注意力（Sliding Window Attention）只让每个 token 关注最近的固定窗口，使 cache 大小有上界，但它会丢失窗口之外的历史信息，超出窗口的页与页之间难以建立联系。Reference Sliding Window Attention（R-SWA）在滑动窗口基础上引入一个固定的参考位置（通常是序列开头的锚点或特殊标记），让每个 token 既能关注近邻内容，也能持续参照这段稳定的全局信息。结果是 KV cache 在解码过程中保持恒定大小，同时不牺牲跨页的上下文一致性，模型因此能在单次前向传播中连续转写数十页，而无需分块多次调用。

UltraBERT：长序列双向编码器

UltraBERT 是一组双向文本编码器，通过掩码比例组合、剪枝和蒸馏训练，面向分类和检索任务。发布的编码器支持最长 32,768 tokens 的序列，使用旋转位置嵌入、RMSNorm、SwiGLU 前馈层，以及交替的局部与全局注意力（每第三层为全局）。checkpoint 包括用于掩码语言建模和微调的 UltraBERT-150M、UltraBERT-380M，以及用于文本嵌入的 UltraBERT-Embed-150M。

MOSS-Transcribe-Diarize：端到端说话人分离

MOSS-Transcribe-Diarize 0.9B 是一个端到端音频理解模型，面向长音频的多说话人转写、说话人分离和时间戳标注。它组合了 Whisper 风格编码器、4 倍帧合并、多模态投影器和 Qwen3 语言模型，单次即可输出联合的转写与分离结果，片段格式为 [start][S01]text[end]。它通过处理器中的 Whisper 窗口分块支持长音频，支持热词偏置的提示式转写，覆盖 50 多种语言。

导出器原生支持量化

Transformers 导出器现在在 Dynamo、ONNX、OpenVINO 和 ExecuTorch 上支持导出时直接量化。新的统一量化 API 整合了 PT2E、ONNX Runtime 和 NNCF 量化器，支持静态量化、动态量化以及权重压缩（INT8/INT4），并提供可配置的校准流程。这意味着开发者可以更便捷地为不同后端导出优化模型用于高效推理。

并行化与生成性能改进

分布式训练和推理方面，FSDP × TP 的模型与优化器 checkpoint 现在可以跨不同的并行配置保存和加载。expert-parallel dispatch、张量并行计划、静态缓存 generate() 以及缓存分配器的字节计数均得到修复。复合模型中共享的 LM head 现在有了自己的 TP 计划条目，enable_expert_parallel 再次单独应用 EP 计划。

生成方面，本次修复了静态缓存 generate() 在主机侧输入和张量并行下的若干问题，同时通过减少设备同步和重编译加速了 Whisper 在 TPU 上的生成，并修复了面向 tensor 和 NumPy 输入的 Whisper 批量时间戳解码。管道中的生成参数处理也做了清理，去掉了多余的警告。

FSDP（Fully Sharded Data Parallel）负责把模型参数、梯度和优化器状态切分到各张卡上，TP（Tensor Parallel）则把单个权重矩阵按维度切开、由多卡协同完成同一层计算。两者叠加时，checkpoint 的形状与分片布局取决于具体的 world size、TP 组大小和切分策略，因此换一个并行配置往往无法直接加载旧存档。本次让 FSDP × TP 的模型与优化器 checkpoint 可跨不同并行配置保存和加载，意味着可以在小规模拓扑上训练、在另一套拓扑上继续训练或推理，不必重新转换权重。expert-parallel（EP）则是 MoE 特有的并行维度，把不同专家分派到不同设备，与 TP 计划的交互容易出现分派错误，因此需要为共享 LM head 单独建立 TP 计划条目，并让 enable_expert_parallel 独立应用 EP 计划，避免两种并行策略互相覆盖。

破坏性变更提醒

这是一个包含多项破坏性变更的版本，升级前需要留意。带 EP 的推理目前存在速度回退，官方表示正在修复。cache_utils.py 中已弃用的检查和方法被移除，仍调用这些方法的代码需切换到当前缓存 API。多个模型文件中移除了对其他模型的意外导入，modular converter 也不再添加这类跨模型导入。

kernels 的最低版本提升至 0.17.2，以支持 use_fallback=KernelizeFallback.ALL，让内核加载失败时回退到原始实现而非报错。新增的 SubConfigSpec 集中管理子配置初始化，自定义或现有的嵌套配置可能需要按新机制声明子配置。LUKE 和 mLUKE 分词器现在将 <ent> 等实体特殊 token 视为特殊 token，涉及这些 token 的分词和编码输出可能与之前不同。

内核与缓存修复

内核支持在硬件适配上继续扩展：ROCm 上未安装 flash-attn 时，flash_attention_2 会回退到 AITER 内核；T5 类模型获得了连续的 SDPA 位置偏置掩码，从而重新使用融合内核；Hub 旋转内核被限制为仅 CUDA 推理，因为其反向传播会给出不正确的梯度。

缓存方面修复了多个问题：静态缓存 generate() 现在能正确处理主机侧嵌套输入和张量并行，offloaded cache 预取不再与卸载拷贝竞争，Phi3 LongRoPE 缓存在上下文边界重建时能收到完整前缀，MiMo-V2-Flash 的滑动窗口开始计入查询 token。

对于正在使用 Transformers 的团队，这个版本的新模型覆盖面和导出量化能力是明确的升级理由，但破坏性变更较多，建议先在隔离环境验证缓存 API 调用和自定义配置的兼容性。