[控场AI]
概念指令层级 / IH

Instruction Hierarchy

指令层级(Instruction Hierarchy, IH)是一种确保大语言模型安全可靠运行的机制,要求模型区分指令优先级,在低优先级指令与高优先级指令冲突时服从高优先级指令。

时间轴 (近 90 天)

10月27日

指令层级(IH)的概念最早由Wallace等人于2024年在论文《The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions》中系统提出。

待验证50%
10月27日

仅使用目标-目标冲突样本进行微调,就能在训练中未见过的大量真实世界任务上显著提升IH表现。

待验证50%
10月27日

在八个基准测试的无冲突任务上,IH提升带来的平均效用变化微不足道。

待验证50%
10月27日

研究作者主张将目标-目标冲突类型纳入IH训练,即使这些样本并不反映典型的LLM使用场景。

待验证50%
10月27日

将任务分解为目标与约束的框架,为识别IH训练盲区提供了可操作的工具。

待验证50%

全部知识事实 (5)

来源文章