概念BPE / WordPiece / Subword Tokenizer
子词分词器
将文本切分为高频子词单元的文本处理组件，如BPE和WordPiece，平衡词汇量覆盖与未登录词处理
时间轴 (近 90 天)
10月20日
子词分词器（如BPE、WordPiece）会将E4012这类标识符拆分为E、40、12等常见片段，导致精确字符信息被稀释，使标识符在嵌入空间中失去区分度。
待验证50%
将文本切分为高频子词单元的文本处理组件，如BPE和WordPiece，平衡词汇量覆盖与未登录词处理
子词分词器（如BPE、WordPiece）会将E4012这类标识符拆分为E、40、12等常见片段，导致精确字符信息被稀释，使标识符在嵌入空间中失去区分度。