共 1 篇相关文章
研究系统考察文本编码对字节级语言模型性能的影响,发现UTF-8变长设计带来跨语言差异:中文、韩文等信息密度高的语言显著受益于压缩编码,格鲁吉亚文、泰米尔文等则对编码不敏感,主张编码应成为语言特定的设计决策。