BERT
BERT（Bidirectional Encoder Representations from Transformers）是由Google提出的预训练语言表示模型，采用双向Transformer编码器架构。其核心预训练任务包括掩码语言模型（MLM）和下一句预测（NSP），通过大规模无标注文本进行自监督学习，从而获得深层双向语义表示。经过微调后，BERT可广泛应用于文本分类、命名实体识别、问答等多种自然语言处理下游任务。
核心事实
时间轴 (近 90 天)
RoBERTa是Facebook AI于2019年提出的预训练语言模型，可视为BERT的优化版本，去掉了下一句预测任务、使用更大的批次和更多数据、采用动态掩码机制。
现代NLP模型（如基于Transformer架构的BERT、GPT系列）能够在大规模文本上预训练后，通过少量标注数据微调即可达到较高的分类准确率。
在语言建模实验中，以Qwen 2.5 1.5B的生成困惑度作为预言奖励，用BERT、蒸馏BERT、token熵等作为代理，反馈集仅256个值或排序，Martini学到的q_G与q*的KL显著低于均匀权重或帕累托类方法。
类型标识类似于BERT中的segment embedding，可帮助注意力机制学习跨物理量的关系而不混淆语义。
2018年Transformer出现后，行业走出三条技术路线：只用编码器的BERT路线、只用解码器的GPT路线，以及编码解码一起用的T5路线。
BERT擅长自然语言理解（NLU），能双向看到上下文，但每个任务都需要特定的下游网络设计，迁移成本高。
2021年之前行业普遍选择BERT路线，2021年之后迅速转向GPT路线。
GPT早期在同等参数量下不如BERT，直到GPT-3参数量大幅提升后，scaling law开始显现威力。
掩码扩散在前向过程中以一定速率将任意token替换为[MASK]标记，最终状态为全掩码序列，其反向过程与BERT式掩码语言模型训练目标高度契合。
实现否定检测通常需要句法分析或基于预训练模型（如BERT）的语义分类器，而非简单的字符串匹配。
还有 40 条时间轴事件
全部知识事实 (20)
GPT和BERT等大语言模型基于自监督学习范式
90%已验证GLM采用了独特的自回归填空预训练范式，与GPT的纯自回归和BERT的纯掩码语言模型都有所不同
90%已验证Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
90%已验证BERT由Google于2018年推出，是预训练语言模型的开山之作，首次采用双向编码器架构，在11项NLP基准测试中刷新纪录
80%已验证当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构
80%已验证2017年Google提出的Transformer架构奠定了大语言模型的基础
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证BERT由Google于2018年提出，是基于Transformer架构的预训练语言模型
80%已验证BERT（Bidirectional Encoder Representations from Transformers）是 Google 于2018年发布的预训练语言模型
75%已验证GLM采用自回归填空训练目标，通过对文本片段随机遮蔽并要求模型自回归还原
75%已验证现代LLM（如GPT系列、Claude、Llama）均基于Transformer架构，其解码过程本质上是一个马尔可夫链
75%已验证DistilBERT通过蒸馏将BERT参数量减少40%，推理速度提升60%，性能仅损失约3%
75%已验证GPT系列和Claude系列均采用Byte-Pair Encoding（BPE）类似的分词机制
75%已验证BERT 采用编码器架构，GPT 系列采用解码器架构，T5 和 BART 采用编码器-解码器架构
75%已验证BERT、GPT系列、LLaMA、Claude均以Transformer为基础构建
70%已验证Transformer的核心创新是自注意力机制，GPT、Claude、Gemini等主流大模型均基于Transformer构建
70%已验证BERT由Google于2018年提出，其双向注意力机制使其在文本分类、语义理解等任务上表现出色
70%已验证ModernBERT是2024年底发布的BERT架构改进版，引入了旋转位置编码（RoPE）和交替局部/全局注意力等现代化设计
65%已验证原始Transformer由编码器（Encoder）和解码器（Decoder）构成，BERT类模型只用编码器擅长理解和分类，GPT类模型只用解码器专注文本生成
65%已验证Transformer架构分化为BERT类（Encoder-only，适合理解任务）和GPT类（Decoder-only，适合生成任务）两大路线
65%