指令微调
一种大模型微调方法，使用多样化指令数据集训练模型，使其能够更好地泛化到未见过的任务，由Google Brain团队在2021年FLAN论文中系统验证
核心事实
时间轴 (近 90 天)
云端GPT系列模型经过更大规模的指令微调，对模糊、口语化的提示具有更强的容错能力
指令微调生成器的稳定神经元有30%-36%集中在BERT第12层，而纯基座模型该比例均低于14%
即便采用指令微调或RLHF进行对齐，底层语域偏见也难以被彻底消除，因为对齐数据同样以标准语域为主
采用指令微调（instruction tuning）格式，在每条训练样本中显式加入context、emotion、input、output等语境信息，可让模型学会在特定情绪语境下切换风格的映射关系
指令微调通过精心设计的指令-回复对训练模型，使其从续写文本转变为遵循指令
平台可通过指令微调和RLHF在模型权重层面硬编码行为规则，使安全指令覆盖用户自定义指令，代价是牺牲用户自定义指令的灵活性
大语言模型的关键技术突破包括自注意力机制、RLHF、指令微调以及混合专家模型（MoE）架构
模型对齐通过RLHF、DPO等技术使模型输出符合人类期望，对齐调整会影响模型的输出长度和风格
全部知识事实 (13)
在标准大语言模型交互架构中，系统提示词在每次对话开始前注入模型上下文，用于定义模型角色、行为边界和任务规则
70%待验证MIMO 2.5在代码生成领域针对性地进行了指令微调（Instruction Fine-tuning）
80%待验证模型对齐通过RLHF、DPO等技术使模型输出符合人类期望，对齐调整会影响模型的输出长度和风格
60%待验证指令微调使用问题-答案对格式的数据集进行训练，使模型更好地遵循自然语言指令
60%待验证研究表明仅用1,000条高质量指令数据就能显著提升模型的指令遵循能力
60%待验证云端GPT系列模型经过更大规模的指令微调，对模糊、口语化的提示具有更强的容错能力
50%待验证指令微调生成器的稳定神经元有30%-36%集中在BERT第12层，而纯基座模型该比例均低于14%
50%待验证即便采用指令微调或RLHF进行对齐，底层语域偏见也难以被彻底消除，因为对齐数据同样以标准语域为主
50%待验证采用指令微调（instruction tuning）格式，在每条训练样本中显式加入context、emotion、input、output等语境信息，可让模型学会在特定情绪语境下切换风格的映射关系
50%待验证指令微调通过精心设计的指令-回复对训练模型，使其从续写文本转变为遵循指令
50%待验证平台可通过指令微调和RLHF在模型权重层面硬编码行为规则，使安全指令覆盖用户自定义指令，代价是牺牲用户自定义指令的灵活性
50%待验证大语言模型的关键技术突破包括自注意力机制、RLHF、指令微调以及混合专家模型（MoE）架构
50%待验证RLHF的人类介入发生在训练阶段并固化为模型权重，属于隐式编码，而表征工程干预在推理时操控内部表征，具有即时性和可逆性
50%