概念byte-level language model
字节级语言模型
直接以原始字节序列而非分词后的Token作为输入输出单位的语言模型,无需预训练分词器,可覆盖任意Unicode字符与二进制数据,适合多语言和开放词表场景。
时间轴 (近 90 天)
11月11日
一项研究系统考察了文本编码对字节级语言模型性能的影响,结论是UTF-8并非对所有语言都最优。
待验证50%
11月11日
字节级语言模型直接以原始字节序列作为输入和输出单位,无需依赖预训练的分词器。
待验证50%
10月24日
Meta发表了一篇新论文,尝试让语言模型跳过分词器,直接读取原始字节(UTF-8字节,0-255)作为输入。
待验证50%