待验证50% 置信事实精确时间

GPT系列采用单向（因果）注意力掩码，使模型在预训练阶段每个token只能关注其之前的上下文，与BERT等双向模型形成根本区别

1

来源数

50%

置信度

长期有效

时效性

2026/7/6

首次发现

来源

素材内容与主题不符，文章暂无法生成

bilibiliyasoven2026/7/3

相关事实

待验证GPT系列模型采用单向自回归预训练，只能看到当前token左侧的历史信息84% 相似待验证GPT 系列、Llama 等模型的核心能力绝大部分来自预训练而非后续微调阶段81% 相似待验证不同模型（如Claude与GPT系列）在训练数据和对齐策略上的差异，使得它们在代码审查时能够互补各自的知识盲点79% 相似待验证GPT系列模型引入因果掩码（Causal Mask），确保生成每个token时只能看到前序上下文，实现自回归式逐词生成77% 相似待验证GPT、BERT、CLIP等模型均建立在自监督学习思想之上77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/114031

API

curl https://kongchang.com/api/v1/knowledge/claims/114031

MCP

get_claim(id=114031)