GPT
GPT（Generative Pre-trained Transformer）是由OpenAI开发的大规模预训练语言模型系列，基于Transformer架构，通过在海量文本数据上进行无监督预训练后经微调使用。该模型系列具备自然语言理解与生成能力，可执行文本续写、问答、摘要、翻译、代码生成等多种任务，是自然语言处理领域的代表性基础模型之一。
Core Facts
Timeline (last 90 days)
Anthropic的旗舰产品是Claude系列模型,已成为GPT的主要竞争者之一
这种隐性危险建议问题是所有主流大模型（包括GPT系列、Gemini等）都面临的共性挑战，并非某一个模型独有的缺陷
Astra代表AI能力的广度扩展,无限GPT代表价值的深度普惠,两者是当前头部厂商都在同时推进的战略
Reddit社区出现讨论帖,标题为'We are either getting Astra ASAP or we are getting unlimited GPT'
Transformer 架构由 Google 于2017年提出，ChatGPT 基于 GPT 架构并通过 RLHF 对齐人类偏好
支持MCP协议意味着Capslane可以直接被Claude、GPT等大模型调用，无需额外的适配层
GPT系列只使用解码器部分专注于文本生成,BERT则只使用编码器部分擅长文本理解
GPT系列、Claude、LLaMA等模型通过Transformer架构中的自注意力机制学习捕捉文本中长距离的语义依赖关系
Claude目前在企业级应用市场与OpenAI的GPT系列、Google的Gemini形成三足鼎立之势，在代码生成、长文档理解和复杂推理场景表现突出
Transformer架构自2017年《Attention Is All You Need》论文提出以来，已统治NLP、CV、多模态等几乎所有AI子领域，GPT系列、LLaMA、Claude均基于Transformer解码器架构
40 more timeline events
All Facts (20)
GPT和BERT等大语言模型基于自监督学习范式
90%VerifiedGPT系列模型基于Transformer架构，通过海量文本预训练和人类反馈强化学习（RLHF）进行对齐优化
85%VerifiedNotable examples of Large Language Models include OpenAI's GPT series, Google's Gemini, Anthropic's Claude, and Meta's LLaMA.
80%VerifiedGPT系列使用tiktoken（基于BPE编码）进行Token化
80%VerifiedGPT系列采用Transformer的解码器（Decoder-only）变体，通过自回归方式逐Token预测下一个词
80%VerifiedVLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL
80%VerifiedFunction Calling（函数调用）机制最早由OpenAI在2023年引入GPT系列模型
80%Verified当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构
80%VerifiedGLM采用了独特的自回归填空预训练范式，与GPT的纯自回归和BERT的纯掩码语言模型都有所不同
80%VerifiedGPT系列模型使用字节对编码（Byte Pair Encoding，BPE）算法将文本切分为Token
80%VerifiedFew-Shot提示的上下文学习（In-Context Learning）能力在GPT-3的论文中被首次系统性描述
80%VerifiedGPT-4、Claude等大语言模型的代码生成能力源于训练数据中包含了GitHub上数以亿计的开源代码库
80%Verified大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%VerifiedGLM采用自回归填空训练目标，通过对文本片段随机遮蔽并要求模型自回归还原
75%Verified现代LLM（如GPT系列、Claude、Llama）均基于Transformer架构，其解码过程本质上是一个马尔可夫链
75%VerifiedGPT系列由OpenAI以英文互联网语料为主体训练，采用自回归架构
75%VerifiedThe core mechanism of Large Language Models like the GPT series is a deep neural network based on the Transformer architecture
70%Verified当前主流大语言模型（如GPT-4、Claude等）的上下文窗口已扩展到128K甚至更长的token
70%Verified知名的终端 Agent 包括 Claude Code（Anthropic）、Codex（默认使用 GPT）、Gemini CLI（默认使用 Gemini），均默认绑定各自模型但通常支持自定义接入其他模型
65%VerifiedTransformer架构分化为BERT类（Encoder-only，适合理解任务）和GPT类（Decoder-only，适合生成任务）两大路线
65%