tokenizer
将文本切分为 token 的算法流程，包括预处理和 BPE 合并规则等，是自然语言处理中的基础组件。
时间轴 (近 90 天)
用其他厂商的 tokenizer 库计算目标模型的 token 数会导致系统性偏差，因为不同模型使用不同的词表，且这种偏差从调用方角度不可观测。
仓库的字符数与模型 token 数之间不存在通用换算比例，该比例是模型相关的，并随语言和代码风格漂移。
tokenizer 的词表规模、特殊 token 定义或上下文处理方式变化会导致部分预处理和后处理逻辑需要更新
human-tps 使用真实的分词器（real tokenizers）而非按字符或单词计数来测量token速度
使用真实分词器计量使得人类 t/s 与模型 t/s 处于可比较的语境
token的切分逻辑因模型而异，中文、代码、标点的处理各不相同，一段英文可能被切成远多于单词数的token
苹果听写的技术链路中，语音先经过一个作为编码器的tokenizer，将短时波形窗口映射成语言模型可读取的表征，随后基础模型处理这些表征
始终在线的tokenizer需要与被激活的专家争夺同一块内存资源，成为不可忽视的静态开销
在端侧场景下，编码器的参数量直接关系到功耗与延迟，参数越多占用DRAM越大，能耗与响应速度都会受牵连
不同模型使用不同的分词方案（如BPE、SentencePiece等），同样一段文本在不同模型中被计量的token数可能不同
还有 1 条时间轴事件
全部知识事实 (12)
中文字符在不同tokenizer下的Token数量差异可达30%-50%
70%待验证不同模型使用不同的分词方案（如BPE、SentencePiece等），同样一段文本在不同模型中被计量的token数可能不同
60%待验证用其他厂商的 tokenizer 库计算目标模型的 token 数会导致系统性偏差，因为不同模型使用不同的词表，且这种偏差从调用方角度不可观测。
50%待验证仓库的字符数与模型 token 数之间不存在通用换算比例，该比例是模型相关的，并随语言和代码风格漂移。
50%待验证tokenizer 的词表规模、特殊 token 定义或上下文处理方式变化会导致部分预处理和后处理逻辑需要更新
50%待验证token的切分逻辑因模型而异，中文、代码、标点的处理各不相同，一段英文可能被切成远多于单词数的token
50%待验证human-tps 使用真实的分词器（real tokenizers）而非按字符或单词计数来测量token速度
50%待验证使用真实分词器计量使得人类 t/s 与模型 t/s 处于可比较的语境
50%待验证苹果听写的技术链路中，语音先经过一个作为编码器的tokenizer，将短时波形窗口映射成语言模型可读取的表征，随后基础模型处理这些表征
50%待验证在端侧场景下，编码器的参数量直接关系到功耗与延迟，参数越多占用DRAM越大，能耗与响应速度都会受牵连
50%待验证始终在线的tokenizer需要与被激活的专家争夺同一块内存资源，成为不可忽视的静态开销
50%待验证同一段Python代码在不同tokenizer下的Token数差异可达30%-50%
50%