主流大模型依赖分词器（如BPE算法）将文本切分为子词单元，每个token对应词表中的一个ID，词表通常包含数万到数十万条目。