[控场AI]
概念in-context learning / ICL

上下文学习

大语言模型在不更新任何权重的前提下,仅通过提示词窗口内的示例即时习得任务模式的能力,被认为是大模型的关键涌现特性之一,最早在GPT-3论文中被系统描述

核心事实

时间轴 (近 90 天)

10月12日

对话中用户的负面语气可能通过上下文学习机制触发模型更直接或生硬的回应风格,而非模型形成长期"性格"。

待验证50%
10月12日

Eric Bigelow主张上下文学习的广义定义是:所有不在模型权重内部发生、运行时动态改变模型行为的过程

待验证50%
10月11日

TabFM采用的推理范式是上下文学习(In-Context Learning,ICL),该概念最早在GPT-3中被系统性展示

待验证50%
10月7日

该模型预训练阶段使用带标签的上下文及其真实阈值,推断阶段则仅从上下文中推断全新阈值

待验证50%
10月3日

Frank Hutter认为表格数据的迁移应发生在模式(patterns)层面而非数据行层面,上下文学习是实现这种迁移的关键技术

待验证50%
10月3日

TabPFN是以上下文学习为核心的新一代表格基础模型,在海量合成的多样化表格任务上预训练

待验证50%
9月28日

TabICL(Tabular In-Context Learning)把表格预测问题转化为上下文学习任务,实际使用时只需一次推理,省去训练与超参数搜索环节

待验证50%
9月24日

多智能体框架中拟人化风格的延续本质上是上下文学习(in-context learning)在风格层面的体现,而非智能体之间存在真正的意图传递或情感共鸣

待验证50%
9月12日

归纳头是理解上下文学习(in-context learning)能力的重要线索

待验证50%
8月5日

TabPFN(Tabular Prior-Data Fitted Network)由Hollmann等人于2023年提出,在大量合成表格数据集上预训练Transformer来学习表格预测元任务

已验证65%

还有 2 条时间轴事件

全部知识事实 (14)

已验证

Few-Shot提示的上下文学习(In-Context Learning)能力在GPT-3的论文中被首次系统性描述

90%
已验证

TabPFN(Tabular Prior-Data Fitted Network)由Hollmann等人于2023年提出,在大量合成表格数据集上预训练Transformer来学习表格预测元任务

65%
已验证

上下文学习(In-Context Learning)指大语言模型无需更新权重,仅通过在输入提示中提供示例或指令即可执行新任务的能力,该能力在 GPT-3 论文中被首次系统性描述

65%
待验证

对话中用户的负面语气可能通过上下文学习机制触发模型更直接或生硬的回应风格,而非模型形成长期"性格"。

50%
待验证

Eric Bigelow主张上下文学习的广义定义是:所有不在模型权重内部发生、运行时动态改变模型行为的过程

50%
待验证

TabFM采用的推理范式是上下文学习(In-Context Learning,ICL),该概念最早在GPT-3中被系统性展示

50%
待验证

该模型预训练阶段使用带标签的上下文及其真实阈值,推断阶段则仅从上下文中推断全新阈值

50%
待验证

Frank Hutter认为表格数据的迁移应发生在模式(patterns)层面而非数据行层面,上下文学习是实现这种迁移的关键技术

50%
待验证

TabPFN是以上下文学习为核心的新一代表格基础模型,在海量合成的多样化表格任务上预训练

50%
待验证

TabICL(Tabular In-Context Learning)把表格预测问题转化为上下文学习任务,实际使用时只需一次推理,省去训练与超参数搜索环节

50%
待验证

多智能体框架中拟人化风格的延续本质上是上下文学习(in-context learning)在风格层面的体现,而非智能体之间存在真正的意图传递或情感共鸣

50%
待验证

归纳头是理解上下文学习(in-context learning)能力的重要线索

50%
待验证

GPT-3之后研究者发现通过精心设计的提示,单一大模型即可零样本或少样本完成多类任务,这一范式被称为In-Context Learning

50%
待验证

少样本示例(Few-shot Prompting)的工作原理基于Transformer注意力机制,无需更新模型权重,被称为上下文学习(In-context Learning)

50%

来源文章