Unverified50% confidenceFactExact time

GPT-2的BPE在字节级别操作，其merge表包含约5万条规则，最终词表为50,257个token

1

Sources

50%

Confidence

Long-term

Relevance

8/20/2026

First Seen

Sources

17岁少年用C++从零构建深度学习框架Forge，精确复现GPT-2

Related Claims

VerifiedGPT-3的词表约5万个token78% similar UnverifiedGPT-2的词表规模约5万，GPT-2 small架构为12层、每层12个注意力头76% similar UnverifiedGPT系列模型采用字节级BPE（Byte-level BPE），以原始字节为基本单位消除未登录字符问题72% similar UnverifiedGPT 系列模型的词表通常包含约 50,000–100,000 个 token72% similar Unverified企业级GPT系统指令通常长达2000-5000字，需要反复测试边界情况72% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/777379

API

curl https://kongchang.com/api/v1/knowledge/claims/777379

MCP

get_claim(id=777379)