Unverified50% confidenceFactExact time
GPT系列采用单向（因果）注意力掩码，使模型在预训练阶段每个token只能关注其之前的上下文，与BERT等双向模型形成根本区别
1
Sources
50%
Confidence
Long-term
Relevance
7/6/2026
First Seen
Sources
素材内容与主题不符，文章暂无法生成
bilibiliyasoven7/3/2026
Related Claims
UnverifiedGPT系列模型采用单向自回归预训练，只能看到当前token左侧的历史信息84% similarUnverifiedGPT 系列、Llama 等模型的核心能力绝大部分来自预训练而非后续微调阶段81% similarUnverified不同模型（如Claude与GPT系列）在训练数据和对齐策略上的差异，使得它们在代码审查时能够互补各自的知识盲点79% similarUnverifiedGPT系列模型引入因果掩码（Causal Mask），确保生成每个token时只能看到前序上下文，实现自回归式逐词生成77% similarUnverifiedGPT、BERT、CLIP等模型均建立在自监督学习思想之上77% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/114031API
curl https://kongchang.com/api/v1/knowledge/claims/114031MCP
get_claim(id=114031)