待验证50% 置信事实精确时间
BERT（Bidirectional Encoder Representations from Transformers）是 Google 于2018年发布的预训练语言模型
1
来源数
50%
置信度
长期有效
时效性
2026/10/5
首次发现
来源
涉及实体
相关事实
待验证2018年BERT的出现改变了简历比对领域，基于Transformer架构的预训练模型能将文本编码为高维语义向量识别近义表达70% 相似待验证Transformer架构由Google于2017年提出，Encoder负责将输入文本编码为高维向量表示，Decoder基于编码表示逐token生成输出文本69% 相似待验证modern BERT属于仅编码器架构，预训练使用掩码语言模型目标，使用RoPE替代绝对位置编码等工程改良66% 相似待验证多头分类器设计在自然语言处理领域有广泛应用，典型案例包括 BERT 模型的各类微调变体65% 相似待验证The Transformer spawned two major technical paths: the encoder approach represented by BERT (excelling at understanding) and the decoder approach represented by GPT (excelling at generation), with the decoder approach becoming the dominant paradigm for large language models65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/976257API
curl https://kongchang.com/api/v1/knowledge/claims/976257MCP
get_claim(id=976257)