聊天模板
大语言模型推理时用于组织对话结构的格式化框架,规定系统提示、用户消息、助手回复等各部分的拼接方式,不同模型家族使用不同的特殊标记和角色标签,深刻影响模型行为与输出风格
时间轴 (近 90 天)
相同提示词字符串并不等于模型实际看到的提示词,因为聊天模板会注入系统文本,某些SDK还会添加默认值。
聊天模板负责标清谁在说话、哪里结束、下一步由谁继续,它与提示词不是一回事
应用通常已自动套好聊天模板,手工再粘一层特殊标记容易造成重复或错配,制造角色混乱问题
在模型对比测试中若不统一聊天模板,测得的性格或风格差异可能来自模板差异而非模型本身
采用官方推荐的、与训练一致的聊天模板并在微调实验中保持模板一致,是保证结果可靠的前提
大语言模型的自我称谓(如'作为一个语言模型')会随着聊天模板的切换而改变
当框架默认模板与模型训练时使用的格式不一致时,模型行为会漂移,包括自我称谓、拒绝回答的阈值、回复详细程度及多轮对话上下文理解方式
blackfrost在聊天模板中嵌入了1457字符的越狱提示词,每个用户输入都会被注入隐藏指令,但README中未披露此信息
全部知识事实 (7)
相同提示词字符串并不等于模型实际看到的提示词,因为聊天模板会注入系统文本,某些SDK还会添加默认值。
50%待验证聊天模板负责标清谁在说话、哪里结束、下一步由谁继续,它与提示词不是一回事
50%待验证应用通常已自动套好聊天模板,手工再粘一层特殊标记容易造成重复或错配,制造角色混乱问题
50%待验证大语言模型的自我称谓(如'作为一个语言模型')会随着聊天模板的切换而改变
50%待验证采用官方推荐的、与训练一致的聊天模板并在微调实验中保持模板一致,是保证结果可靠的前提
50%待验证当框架默认模板与模型训练时使用的格式不一致时,模型行为会漂移,包括自我称谓、拒绝回答的阈值、回复详细程度及多轮对话上下文理解方式
50%待验证在模型对比测试中若不统一聊天模板,测得的性格或风格差异可能来自模板差异而非模型本身
50%