概念
token_type_ids
在PrefixLM等架构中用于区分前缀(提示词)和后缀(生成内容)的输入标识符,通常用0和1表示不同token类型
时间轴 (近 90 天)
10月13日
加载ZY-S1模型时需要设置trust_remote_code=True,并且必须传入token_type_ids——提示词token用1表示,生成token用0表示。
待验证50%
在PrefixLM等架构中用于区分前缀(提示词)和后缀(生成内容)的输入标识符,通常用0和1表示不同token类型
加载ZY-S1模型时需要设置trust_remote_code=True,并且必须传入token_type_ids——提示词token用1表示,生成token用0表示。