Nature刊发Ai2字节级语言模型：告别分词器的新路径

当语言模型不再依赖分词器

Ai2（Allen Institute for AI）支撑其全开源字节级语言模型 Bolmo 的核心技术，正式登上了《Nature》期刊。这一成果的关键在于：让语言模型直接在字节（byte）层面进行运算，而不再依赖传统的分词器（tokenizer）。

长期以来，主流大语言模型都要先把文本切分成一个个 token，再送入模型处理。这套流程看似理所当然，却带来了不少隐性成本——词表受限、对多语言和罕见字符的支持不均衡、以及对拼写、字符级任务的天然短板。字节级建模试图从底层绕开这些问题：既然所有文本最终都能用字节表示，为何不让模型直接面对字节？

分词器（tokenizer）是目前几乎所有主流大语言模型的「入口」。以最常见的 BPE（Byte Pair Encoding）算法为例，它通过统计语料中高频字节对来合并出子词单元，最终形成一张固定大小的词表（vocabulary），GPT 系列通常在 5 万到 10 万 token 之间。这套设计对高资源语言（如英语）效率极高，一个 token 平均代表约 4 个字符；但对于低资源语言、代码中的特殊符号或罕见专有名词，往往需要拆分成多个 token 甚至逐字节处理，导致同等信息量下序列更长、计算更贵，模型对这类内容的建模质量也更弱。此外，分词器的词表一旦固定，就很难动态扩展，跨语言迁移时往往需要重新训练或增量扩词表。字节级建模的思路正是将粒度下沉到 UTF-8 的基本单元——单个字节，词表缩减至 256，从根本上消除分词带来的语言不均衡问题，代价是序列长度会显著增加，对注意力机制的效率要求更高。

Bolmo 与「改造」而非「重训」的思路

Bolmo 是 Ai2 推出的完全开源的字节级语言模型。它背后最值得关注的技术点，不是从零训练一个全新的字节模型，而是对已有语言模型进行改造（retrofitting），使其能够在字节层面运作。

这种「改造」路线的意义在于成本与可复用性。从头训练一个大模型耗费巨大，如果能把已经训练好的、基于 token 的模型「翻新」成字节级模型，就能在很大程度上继承原有模型的能力，同时获得字节级建模的优势。这也是该研究能够被《Nature》接受的分量所在——它提供的不只是一个孤立的模型，而是一套具备普适性的方法论。

「改造（retrofitting）」在迁移学习中是一类常见策略，核心思想是保留预训练模型大部分参数，仅对输入输出层或少量关键模块进行修改或再训练，以适配新的数据格式或任务目标。对于字节级改造而言，关键挑战在于：原始 token embedding 层与词表绑定，字节级模型需要重新设计如何将字节序列映射为模型内部的表示空间，同时尽量不破坏中间层已习得的语言知识。一种典型做法是在字节序列上增加局部聚合模块（如小型卷积或局部 Transformer），先将相邻字节「压缩」成与原 token 粒度相当的表示，再送入原有的 Transformer 主干，最后在输出侧做对称的展开操作。这样主干网络的权重可以几乎不变地复用，大幅降低改造成本。Bolmo 的方法论正是沿着这一思路推进，并将其系统化为可复现的流程。

方法可泛化：不止于 Olmo

论文发表的同时，Ai2 还放出了新的模型检查点（checkpoints），用来证明这一改造方法可以推广到 Olmo 之外的其他模型家族。

这一点相当关键。许多研究的方法往往只在作者自家的模型上验证有效，一旦换到别的架构或训练体系就失灵。Ai2 通过在不同模型家族上展示有效的检查点，试图说明字节级改造是一种通用技术，而非针对 Olmo 的特调方案。对于希望把字节级能力迁移到自身模型的研究者和工程团队而言，这种泛化性直接决定了技术的实用价值。

模型检查点（checkpoint）是训练过程中保存下来的完整模型权重快照，研究者可以直接加载并评估，无需重复训练即可验证结论。Ai2 此次额外释出的检查点针对多个不同模型家族，相当于提供了「可直接对比的实验复现包」。在深度学习研究中，泛化性验证（generalization across architectures）是判断一项方法是否具备实用价值的重要标准：若改造流程依赖某个模型的特定超参数或训练数据分布，则其他团队难以直接迁移；反之，若在不同规模、不同预训练语料的模型上均能稳定生效，则说明方法本身捕捉到了字节级表示与 token 级表示之间更普遍的转换规律。开放检查点也让外部研究者能够在更多下游任务上独立评测，形成对论文结论的第三方验证。

全开源的分量

Ai2 一贯以「完全开放」著称，Bolmo 延续了这一传统。模型本身、方法、以及用于佐证泛化能力的检查点一并公开，意味着社区可以直接复现、验证并在此基础上继续构建。

在当下不少前沿模型越来越封闭的背景下，一个登上《Nature》、又保持全开源的字节级语言模型，为学术界和开发者提供了难得的透明研究对象。它既是对字节级建模路线的一次权威背书，也为后续探索「无分词器」架构打开了可实践的入口。

为什么这件事值得关注

字节级建模并非全新概念，但真正能够以可复用、可泛化的方式落地，并通过顶级期刊的同行评审，仍属少数。Bolmo 的价值可以归纳为三层：技术层面证明了改造现有模型通向字节级的可行性；方法层面展示了跨模型家族的泛化能力；生态层面以全开源姿态降低了社区参与门槛。

对于关注模型底层架构演进的人来说，这是一个信号——分词器可能并非语言模型不可动摇的前提，而字节级路径正逐步从研究设想走向工程现实。