GPT-3
OpenAI于2020年发布的大规模语言模型，拥有1750亿参数，正式确立了zero-shot、one-shot和few-shot推理范式，奠定了提示词工程的基础
核心事实
时间轴 (近 90 天)
OpenAI 在 GPT-2、GPT-3 等工作中系统验证了缩放定律，并将其作为模型研发路线规划的基础。
360M参数属于小语言模型范畴，比GPT-3的175B或Llama 3的8B小两个数量级。
GPT-3 训练使用了 Adam 优化器（beta1 = 0.9，beta2 = 0.95）、梯度裁剪至 1.0、学习率预热 3.75 亿 token 后余弦衰减至峰值的 10% 历经 2600 亿 token，以及权重衰减 0.1。
LoRA在RoBERTa、DeBERTa、GPT-2和GPT-3上表现与完整微调相当甚至更好，例如WikiSQL上达到74.0%，MultiNLI上达到91.7%。
以GPT-3为例，当d=12,288、r=8时，每个低秩分解矩阵约有19.7万个可训练参数，而完整更新矩阵约1.51亿个参数，两者相差近三个数量级。
ChatGPT相比GPT-3的三点关键差异是：对话式交互消除ML与软件门槛、截图的病毒式传播、免费版本降低进入门槛。
模型成本自GPT-3以来快速下降，直到2025年Google开始上调Gemini 2.0代价格，OpenAI随后跟进。
TabFM采用的推理范式是上下文学习（In-Context Learning，ICL），该概念最早在GPT-3中被系统性展示
以 GPT-3 的注意力层为例，原始权重矩阵约为 12288×12288（约1.5亿参数），秩 r=8 的 LoRA 分解只需训练约20万参数，压缩比超过700倍
据研究估算，训练GPT-3所消耗的淡水约达70万升，相当于生产约370辆汽车的用水量
还有 33 条时间轴事件
全部知识事实 (20)
GPT-3时代的上下文窗口仅有2,048个Token，而Google Gemini已支持百万级Token，Claude支持200K Token，GPT-4 Turbo支持128K Token
90%已验证GPT-3拥有1750亿参数
90%已验证OpenAI Codex最初于2021年发布，是基于GPT-3微调的代码生成模型，也是GitHub Copilot背后的核心引擎
90%已验证GitHub Copilot基于OpenAI Codex模型构建，Codex是GPT-3的代码专项微调版本，在数百亿行公开代码上进行训练
90%已验证Few-Shot提示的上下文学习（In-Context Learning）能力在GPT-3的论文中被首次系统性描述
90%已验证早期GPT-3的上下文窗口仅有4K Token，而现代模型已扩展至128K甚至更长
90%已验证训练一次GPT-4级别的模型需要数万块A100/H100 GPU协同工作数月
90%已验证GPT-4于2023年推出，参数规模估计超过万亿
90%已验证早期GPT-3的上下文窗口仅为4096个token，约3000个英文单词
90%已验证GPT-4级别模型训练所需算力相比GPT-3提升了约100倍
85%已验证GPT-3拥有1750亿参数，并在2020年展现出涌现能力（零样本或少样本推理能力）
80%已验证训练GPT-4量级模型所需的FLOPs达到10²⁴至10²⁵量级
80%已验证OpenAI自GPT-3起便不再公开完整技术细节，GPT-4对模型架构、参数规模、训练数据等关键信息严格保密
80%已验证早期GPT-3的上下文窗口仅有2048个token
80%已验证GPT-3的训练数据包含了数千亿token的互联网文本
80%已验证2020年OpenAI发布了GPT-3 API
80%已验证当前主流大语言模型（如GPT-4、Claude等）的上下文窗口已扩展到128K甚至更长的token
80%已验证Agentic AI代表了大语言模型应用的第三阶段演进：从单轮问答到多轮对话助手，再到能自主规划、调用外部工具并持续执行任务的Agent范式
80%已验证Codex是基于GPT架构专门针对代码理解与生成任务进行微调的大型语言模型
80%已验证初代Codex于2021年发布，基于GPT-3微调，曾是GitHub Copilot的底层引擎
80%