Verified65% confidenceFactTime unknown
从GPT-1到GPT-3，模型架构本身并没有发生根本性变化，主要提升来自参数规模的扩大和训练数据的增加，印证了规模定律（Scaling Law）
3
Sources
65%
Confidence
Long-term
Relevance
6/1/2026
First Seen
Sources
什么是大模型？一文讲透参数、模型与AI大模型的本质
bilibili吴恩达机器学习
Related Entities
Related Claims
UnverifiedGPT-2确立的BPE分词、Pre-LN归一化、因果掩码自回归训练三大核心设计在GPT-3中被保留并扩展至175B参数76% similarUnverified规模定律的发现直接催生了GPT-3、GPT-4、PaLM等超大规模模型76% similarUnverified代码推理能力的质变在 GPT-3 到 GPT-4 的代际跨越中被系统性观察到，符合规模化定律的涌现现象75% similarUnverifiedGPT-4等大模型在参数规模突破某一阈值后自发涌现出逻辑推理、代码生成等未经专门训练的能力，这一现象称为涌现能力73% similarVerifiedOpenAI从GPT-1到GPT-4遵循主版本递增逻辑，每个主版本号意味着模型结构或训练范式的重大变革73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/22435API
curl https://kongchang.com/api/v1/knowledge/claims/22435MCP
get_claim(id=22435)