概念In-Context Learning / 上下文学习
ICL
预训练语言模型仅通过提示中的示例即可完成新任务的能力,无需更新模型参数。
时间轴 (近 90 天)
11月11日
ICL的代价是每次预测都要携带示例,上下文越长推理成本越高,示例的挑选与排列会影响效果;数据量极大或特征维度很高的场景仍需配合采样与检索策略。
待验证50%
11月4日
最新研究给出了少样本句子分类中任意标签下的完整电路,揭示了ICL的工作机制。
待验证50%
11月4日
ICL在此设定下是一个门控联想查找,由少数可识别组件构建,从演示因果追踪到预测。
待验证50%