Unverified50% confidenceFactExact time

GPT-2的词表规模约5万，GPT-2 small架构为12层、每层12个注意力头

1

Sources

50%

Confidence

Long-term

Relevance

8/20/2026

First Seen

Sources

17岁少年用C++从零构建深度学习框架Forge，精确复现GPT-2

Related Claims

UnverifiedGPT-2的355M版本使用16个注意力头，每个头的维度为6478% similar UnverifiedGPT-2的BPE在字节级别操作，其merge表包含约5万条规则，最终词表为50,257个token76% similar VerifiedGPT-3的词表约5万个token73% similar UnverifiedGPT-2是在GPT-1基础上扩展超过10倍规模构建的，拥有15亿参数72% similar Unverified2023年研究者在 GPT-2 中识别出负责间接宾语识别的完整电路，涉及不足1%的注意力头71% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/777219

API

curl https://kongchang.com/api/v1/knowledge/claims/777219

MCP

get_claim(id=777219)