待验证50% 置信事实精确时间

GPT-2的词表规模约5万，GPT-2 small架构为12层、每层12个注意力头

1

来源数

50%

置信度

长期有效

时效性

2026/8/20

首次发现

来源

17岁少年用C++从零构建深度学习框架Forge，精确复现GPT-2

相关事实

待验证GPT-2的355M版本使用16个注意力头，每个头的维度为6478% 相似待验证GPT-2的BPE在字节级别操作，其merge表包含约5万条规则，最终词表为50,257个token76% 相似已验证GPT-3的词表约5万个token73% 相似待验证GPT-2是在GPT-1基础上扩展超过10倍规模构建的，拥有15亿参数72% 相似待验证2023年研究者在 GPT-2 中识别出负责间接宾语识别的完整电路，涉及不足1%的注意力头71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/777219

API

curl https://kongchang.com/api/v1/knowledge/claims/777219

MCP

get_claim(id=777219)