Functionalizer

一种无损的预分词框架，通过将词的正字法变体分解为操作码与操作数的组合来避免词表膨胀，支持大小写、变音符号和字符重复等可逆变换，能够在不丢失原始文本信息的前提下提升词表利用率