ProTok
统一的蛋白质分词器,利用乘积量化为序列、结构和功能三种模态分配独立codebook组,并通过模态dropout训练实现单checkpoint多模态推理
时间轴 (近 90 天)
ProTok是一个统一的蛋白质分词器,通过模块化多码本量化将序列、结构和功能三种模态映射到统一的离散词汇表中。
ProTok利用乘积量化,为每种模态分配独立的codebook组,训练时随机丢弃某一模态的输入后,共享的codebook仍须产出有意义的离散token,使得单一checkpoint无需重新训练即可支持任意模态子集的灵活推理。
模态dropout借鉴了多模态学习中的missing modality训练范式,ProTok的创新在于将这一策略与量化tokenizer结合:训练时随机丢弃某一模态的输入后,共享的codebook仍须产出有意义的离散token,从而保证任意模态子集输入下推理的一致性。
在StructTokenBench的七个基准、14项任务和28个测试划分上,ProTok在纯结构分词器中取得了平均排名1.4的成绩,在21个划分上排名第一,28个划分中有27个进入前两名。
ProTok的token在CATH 4.2数据集上达到0.939 lDDT。
ProTok的结构token在零样本功能检索上全面领先基线结构分词器,覆盖CATH、EC和GO标签层级。
一个从零训练的紧凑语言模型在ProTok token上联合生成骨架和序列,采样骨架中有52%可设计,而参数匹配的GeoBPE基线仅为21%。
ProTok目前验证的规模有限,生成任务也使用了较小的语言模型;统一词汇表能否扩展到更大参数规模和更复杂的多模态蛋白质任务,仍是开放问题。
全部知识事实 (8)
ProTok是一个统一的蛋白质分词器,通过模块化多码本量化将序列、结构和功能三种模态映射到统一的离散词汇表中。
50%待验证ProTok利用乘积量化,为每种模态分配独立的codebook组,训练时随机丢弃某一模态的输入后,共享的codebook仍须产出有意义的离散token,使得单一checkpoint无需重新训练即可支持任意模态子集的灵活推理。
50%待验证模态dropout借鉴了多模态学习中的missing modality训练范式,ProTok的创新在于将这一策略与量化tokenizer结合:训练时随机丢弃某一模态的输入后,共享的codebook仍须产出有意义的离散token,从而保证任意模态子集输入下推理的一致性。
50%待验证在StructTokenBench的七个基准、14项任务和28个测试划分上,ProTok在纯结构分词器中取得了平均排名1.4的成绩,在21个划分上排名第一,28个划分中有27个进入前两名。
50%待验证ProTok的token在CATH 4.2数据集上达到0.939 lDDT。
50%待验证ProTok的结构token在零样本功能检索上全面领先基线结构分词器,覆盖CATH、EC和GO标签层级。
50%待验证一个从零训练的紧凑语言模型在ProTok token上联合生成骨架和序列,采样骨架中有52%可设计,而参数匹配的GeoBPE基线仅为21%。
50%待验证ProTok目前验证的规模有限,生成任务也使用了较小的语言模型;统一词汇表能否扩展到更大参数规模和更复杂的多模态蛋白质任务,仍是开放问题。
50%