模态dropout

ProTok利用乘积量化，为每种模态分配独立的codebook组，训练时随机丢弃某一模态的输入后，共享的codebook仍须产出有意义的离散token，使得单一checkpoint无需重新训练即可支持任意模态子集的灵活推理。

模态dropout借鉴了多模态学习中的missing modality训练范式，ProTok的创新在于将这一策略与量化tokenizer结合：训练时随机丢弃某一模态的输入后，共享的codebook仍须产出有意义的离散token，从而保证任意模态子集输入下推理的一致性。