概念Byte-level Modeling / 字节模型
字节级建模
一种语言建模方法，跳过分词器，直接将UTF-8编码的原始字节作为输入序列进行预测，词表极小（仅256个），无未登录词问题，但序列长度显著增加。
时间轴 (近 90 天)
10月24日
字节级模型的词表极小（仅256个），没有未登录词问题，跨语言和符号处理更统一。
待验证50%
10月12日
字节级建模将文本粒度下沉到UTF-8的单个字节，词表缩减至256
待验证50%
10月12日
字节级建模消除分词带来的语言不均衡问题，但代价是序列长度显著增加，对注意力机制效率要求更高
待验证50%