基础模型
斯坦福HAI研究院于2021年提出的概念,指在超大规模数据上预训练、可通过少量标注数据迁移至各类下游任务的通用模型,打破了传统「一个任务一个模型」的开发逻辑
核心事实
时间轴 (近 90 天)
将自有业务数据与基础模型结合的方式主要有两类:微调(用企业私有数据继续训练模型参数,形成专用模型)和检索增强生成(RAG)(在推理时从企业知识库检索相关内容注入提示词,模型参数不变)。
基础模型能力正通过API快速普及,办公工具的AI功能容易被复制。
论文将工作智能体定义为「基础模型 + 运行时 harness」的组合体,在有状态工作空间中执行任务并交付可验证的结果。
帖子中提到实验室没有足够数据做基础模型,数据规模非常小。
基础模型的升级可能使旧的定制变得多余,及时移除不再需要的部分能保持Agent的简洁和高效。
该方法在每个尺度上使用一个Mamba模型以线性时间编码来自冻结基础模型和轻量级FastVim两个来源的特征,随后由联合训练的分类头将编码后的表征融合为单一预测。
论文的控制实验覆盖5种基础模型、5种基分类器和3个尺度,结果显示增益在不同编码器上均成立,且在更小尺度上观察到的提升更大。
基础模型指在大规模通用语料上预训练、可通过微调或提示适配多种下游任务的模型,通常按模态分为文本、图像、音频等类别。
多数开发者通过API按token计费调用基础模型,而非自行训练模型。
部分乐观派认为,基础模型的泛化能力足以绕过部分硬件瓶颈,通过仿真到现实的迁移加速机器人进化。
还有 32 条时间轴事件
全部知识事实 (20)
训练一个前沿大模型需要投入数亿美元的算力、数据清洗和人力
80%已验证微调是拿一个已有的大模型,用自己准备的专属数据集进行进一步训练,从而改变模型的权重数值
80%已验证基础模型指在大规模通用语料上预训练、可通过微调或提示适配多种下游任务的模型,通常按模态分为文本、图像、音频等类别。
75%已验证Foundation Model(基础模型)是指经过大规模预训练、可作为通用底座被下游任务微调或直接调用的大型模型
75%已验证预训练模型是指在大规模数据集上预先训练好的模型,用户可以直接微调或调用来完成特定任务
75%已验证单纯堆砌参数而训练数据不足会导致模型大而不强,参数跃升需配合同步扩大的训练语料与算力才能兑现能力增益
75%已验证Agent 的核心架构通常由「感知-推理-行动」循环构成
70%已验证基座模型指GPT、豆包、DeepSeek这类通用大语言模型,后训练模型指基于基座模型针对特定行业微调的模型
65%已验证越是需要深度创造和原理性突破的工作越难被AI自动化替代,而标准化、重复性强的应用层工程更可能被AI工具替代
65%待验证将自有业务数据与基础模型结合的方式主要有两类:微调(用企业私有数据继续训练模型参数,形成专用模型)和检索增强生成(RAG)(在推理时从企业知识库检索相关内容注入提示词,模型参数不变)。
50%待验证基础模型能力正通过API快速普及,办公工具的AI功能容易被复制。
50%待验证论文将工作智能体定义为「基础模型 + 运行时 harness」的组合体,在有状态工作空间中执行任务并交付可验证的结果。
50%待验证帖子中提到实验室没有足够数据做基础模型,数据规模非常小。
50%待验证基础模型的升级可能使旧的定制变得多余,及时移除不再需要的部分能保持Agent的简洁和高效。
50%待验证论文的控制实验覆盖5种基础模型、5种基分类器和3个尺度,结果显示增益在不同编码器上均成立,且在更小尺度上观察到的提升更大。
50%待验证该方法在每个尺度上使用一个Mamba模型以线性时间编码来自冻结基础模型和轻量级FastVim两个来源的特征,随后由联合训练的分类头将编码后的表征融合为单一预测。
50%待验证多数开发者通过API按token计费调用基础模型,而非自行训练模型。
50%待验证部分乐观派认为,基础模型的泛化能力足以绕过部分硬件瓶颈,通过仿真到现实的迁移加速机器人进化。
50%待验证基础模型是机器人智能化的必要条件,但远非充分条件。
50%待验证基础模型能力趋于稳定时,发布会的看点就不再是「多了什么功能」,而是「模型能做到什么以前做不到的事」。
50%