如果一门语言采用罕见的Unicode符号、非常规的空白结构或刻意构造的歧义记号，tokenizer可能将其切分成低效甚至无意义的片段，显著增加模型理解与生成的难度。