产品
BertNormalizer
Hugging Face tokenizers库中的BERT文本归一化组件，执行文本清理、Unicode分解、去除重音符号和小写化等预处理步骤。
时间轴 (近 90 天)
10月16日
在bert-base-uncased的一次热态英文编码中，归一化（Normalization）消耗了88%的编码时间，而WordPiece只占8%。
待验证50%
10月16日
BertNormalizer负责的预处理包括：清理文本、在汉字周围插入空格、对Unicode字符做NFD分解、去除非间距标记（去重音）、转小写。
待验证50%
10月16日
BertNormalizer中用于判断某码点是否为非间距标记（Mn）的有序表包含1567个字符。
待验证50%
10月16日
在原始实现中，即使是纯ASCII字母（如s）也会走完整的Unicode属性查询路径：先解码、再查1567字符表、再传入归一化流程。
待验证50%
10月16日
归一化实现的任何改动都不能只看吞吐量，还必须校验token输出是否完全一致。
待验证50%
全部知识事实 (5)
待验证
在bert-base-uncased的一次热态英文编码中，归一化（Normalization）消耗了88%的编码时间，而WordPiece只占8%。
50%待验证BertNormalizer负责的预处理包括：清理文本、在汉字周围插入空格、对Unicode字符做NFD分解、去除非间距标记（去重音）、转小写。
50%待验证BertNormalizer中用于判断某码点是否为非间距标记（Mn）的有序表包含1567个字符。
50%待验证在原始实现中，即使是纯ASCII字母（如s）也会走完整的Unicode属性查询路径：先解码、再查1567字符表、再传入归一化流程。
50%待验证归一化实现的任何改动都不能只看吞吐量，还必须校验token输出是否完全一致。
50%