已验证65% 置信事实时间未知

从GPT-1到GPT-3，模型架构本身并没有发生根本性变化，主要提升来自参数规模的扩大和训练数据的增加，印证了规模定律（Scaling Law）

3

来源数

65%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

什么是大模型？一文讲透参数、模型与AI大模型的本质

bilibili吴恩达机器学习

涉及实体

GPT-1model GPT-3model Scaling Lawconcept

相关事实

待验证GPT-2确立的BPE分词、Pre-LN归一化、因果掩码自回归训练三大核心设计在GPT-3中被保留并扩展至175B参数76% 相似待验证规模定律的发现直接催生了GPT-3、GPT-4、PaLM等超大规模模型76% 相似待验证代码推理能力的质变在 GPT-3 到 GPT-4 的代际跨越中被系统性观察到，符合规模化定律的涌现现象75% 相似待验证GPT-4等大模型在参数规模突破某一阈值后自发涌现出逻辑推理、代码生成等未经专门训练的能力，这一现象称为涌现能力73% 相似已验证OpenAI从GPT-1到GPT-4遵循主版本递增逻辑，每个主版本号意味着模型结构或训练范式的重大变革73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/22435

API

curl https://kongchang.com/api/v1/knowledge/claims/22435

MCP

get_claim(id=22435)