[控场AI]
概念byte-level language model

字节级语言模型

直接以原始字节序列而非分词后的Token作为输入输出单位的语言模型,无需预训练分词器,可覆盖任意Unicode字符与二进制数据,适合多语言和开放词表场景。

时间轴 (近 90 天)

11月11日

一项研究系统考察了文本编码对字节级语言模型性能的影响,结论是UTF-8并非对所有语言都最优。

待验证50%
11月11日

字节级语言模型直接以原始字节序列作为输入和输出单位,无需依赖预训练的分词器。

待验证50%
10月24日

Meta发表了一篇新论文,尝试让语言模型跳过分词器,直接读取原始字节(UTF-8字节,0-255)作为输入。

待验证50%

全部知识事实 (3)

来源文章