影子Tokenizer

RTAM-Fusion方法使用影子Tokenizer来校准罕见Token的质量，并跨稀有度层级融合信号。

影子Tokenizer的思想借鉴自影子模型：攻击者用与目标分词器相似的流程，在已知的替代语料上训练若干影子分词器，观察罕见Token的出现规律以建立参考分布。