概念NFC
Unicode NFC
Unicode 标准定义的规范化形式之一,将字符序列转换为预组合形式,用于确保文本一致性。
时间轴 (近 90 天)
10月19日
许多FLORES句子并非Unicode NFC规范化形式:孟加拉语1,012句中有609句、旁遮普语573句、印地语93句;不先做规范化会导致token计数漂移。
待验证50%
Unicode 标准定义的规范化形式之一,将字符序列转换为预组合形式,用于确保文本一致性。
许多FLORES句子并非Unicode NFC规范化形式:孟加拉语1,012句中有609句、旁遮普语573句、印地语93句;不先做规范化会导致token计数漂移。