乘积量化

ProTok利用乘积量化，为每种模态分配独立的codebook组，训练时随机丢弃某一模态的输入后，共享的codebook仍须产出有意义的离散token，使得单一checkpoint无需重新训练即可支持任意模态子集的灵活推理。

乘积量化最初由Jégou等人在2011年提出，用于大规模图像检索中的向量压缩。