GPT-2
OpenAI于2019年发布的大规模语言模型，拥有15亿参数，能够生成连贯自然的长段落文字，因担忧被滥用于虚假信息生成而采用分阶段发布策略，是GPT系列的早期重要版本
核心事实
时间轴 (近 90 天)
在 GPT-2 词表中，emoji 🙂（4 个 UTF-8 字节）变成 2 个 token；GPT-4o 更大的词表学会了整个序列，所以是 1 个 token。
研究者构建了基于邻近 token-pair 计数的平滑预测器，并在 GPT-2 完整的 50,257 词汇表上进行评估
Ethayarajh在2019年的研究发现BERT和GPT-2的上下文Embedding占据一个狭窄圆锥
GPT-2时代的早期语言模型容易在长文本中'忘记'前文设定，导致角色行为前后矛盾或情节跳跃
研究团队在单一语言内部对比了七款基于BPE的分词器：GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3和Kimi K2
机制可解释性的代表性工作包括对GPT-2中间接目标机制（IOI task）的完整电路还原
Top-p 采样已被 GPT-2 等模型广泛采用，在开放域生成任务中表现优于固定 Top-k
权重绑定将输入嵌入矩阵与输出投影矩阵设为同一份参数，GPT-2等早期模型已采用，可减少参数并有助于训练稳定性
间接宾语识别（IOI）任务由Wang等人（2022）在GPT-2上率先系统研究
0.8B 参数与 Meta 的 LLaMA 3.2 1B、Google 的 Gemma 2B 同属超小模型梯队，接近早期 GPT-2（1.5B）的量级下限
还有 29 条时间轴事件
全部知识事实 (20)
OpenAI在2018年发布GPT-2时以能力过强可能被滥用为由分阶段限制模型权重公开
80%已验证GPT系列模型使用字节对编码（Byte Pair Encoding，BPE）算法将文本切分为Token
80%已验证GPT系列采用解码器路线，坚持自回归语言模型目标，通过扩大规模揭示了涌现能力现象
80%已验证GPT系列模型采用字节级BPE（Byte-level BPE），以原始字节为基本单位消除未登录字符问题
75%已验证Karpathy此前的nanoGPT用约600行代码实现了GPT-2的训练
75%已验证Dario Amodei曾在OpenAI担任研究副总裁，主导了GPT-2和GPT-3等关键模型的研究工作
70%已验证OpenAI从GPT-2开始使用BPE的变体，GPT-4的cl100k_base词汇表包含约10万个token
65%待验证Karpathy的llm.c项目用纯C语言实现了GPT-2训练，完全不依赖PyTorch等框架
90%部分验证少样本学习能力在GPT-2（15亿参数）时代几乎不可用，到GPT-3（1750亿参数）突然变得实用
75%部分验证GPT-2's largest version had approximately 1.5 billion parameters
65%待验证Transformer Explainer 是由佐治亚理工学院团队开发的交互式工具，以 GPT-2 为基础展示 Transformer 各层的计算流程
60%待验证在 GPT-2 词表中，emoji 🙂（4 个 UTF-8 字节）变成 2 个 token；GPT-4o 更大的词表学会了整个序列，所以是 1 个 token。
50%待验证研究者构建了基于邻近 token-pair 计数的平滑预测器，并在 GPT-2 完整的 50,257 词汇表上进行评估
50%待验证Ethayarajh在2019年的研究发现BERT和GPT-2的上下文Embedding占据一个狭窄圆锥
50%待验证GPT-2时代的早期语言模型容易在长文本中'忘记'前文设定，导致角色行为前后矛盾或情节跳跃
50%待验证研究团队在单一语言内部对比了七款基于BPE的分词器：GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qwen3和Kimi K2
50%待验证机制可解释性的代表性工作包括对GPT-2中间接目标机制（IOI task）的完整电路还原
50%待验证Top-p 采样已被 GPT-2 等模型广泛采用，在开放域生成任务中表现优于固定 Top-k
50%待验证权重绑定将输入嵌入矩阵与输出投影矩阵设为同一份参数，GPT-2等早期模型已采用，可减少参数并有助于训练稳定性
50%待验证间接宾语识别（IOI）任务由Wang等人（2022）在GPT-2上率先系统研究
50%