大多数实用分词器的切分决策是局部化的，相邻片段之间存在天然的独立边界，找到并利用这些边界可在不停用参考实现的前提下做增量分词。