概念字节级 BPE / Byte-level BPE

Byte-level BPE

一种分词方案，先将文本转为 UTF-8 字节序列，再在字节层运行 BPE 合并算法。天然覆盖任意 Unicode 字符，无需 UNK 标记，词表规模可自由设定

时间轴 (近 90 天)

10月12日

该 26.2M 模型采用 8 层 encoder-only Transformer，d_model 384，6 个注意力头，FFN 维度 1536，最大 160 token，使用自研 16k 字节级 BPE 分词器和 15,000 个编辑标签。

待验证50%

该 26.2M 模型采用 8 层 encoder-only Transformer，d_model 384，6 个注意力头，FFN 维度 1536，最大 160 token，使用自研 16k 字节级 BPE 分词器和 15,000 个编辑标签。