GPT-3
This entity does not have a full profile yet. Below are related knowledge claims.
Related Facts (20)
聊天模型如GPT-3.5-turbo和GPT-4采用由system、user、assistant三种角色消息组成的消息列表作为输入格式
100%Superseded早期GPT-3.5仅有4K上下文，而当前主流模型已普遍扩展至128K甚至更高
95%SupersededGPT-3拥有1750亿参数，Llama 3.1最大版本为405B参数
95%SupersededBERT的参数规模为3.4亿，GPT-3为1750亿参数
95%SupersededOpenAI于2020年发布GPT-3
95%Superseded最早的Codex基于GPT-3微调而来，于2021年首次亮相
95%SupersededGPT-3.5通过RLHF（基于人类反馈的强化学习）技术提升了对话能力
95%UnverifiedCodex 最初于 2021 年 8 月正式对外发布，其底层基于 GPT-3 架构
95%UnverifiedChatGPT基于GPT-3.5/GPT-4大语言模型，采用Transformer架构和RLHF技术训练
95%UnverifiedOpenAI使用turbo和mini等后缀来区分不同性能层级的模型变体，Instant后缀从未在其命名体系中出现过
95%UnverifiedBERT的参数规模为3.4亿，GPT-3的参数规模为1750亿
95%VerifiedOpenAI Codex最初于2021年发布，是基于GPT-3微调的代码生成模型，也是GitHub Copilot背后的核心引擎
90%SupersededOpenAI Codex最初于2021年作为GitHub Copilot的底层模型亮相，基于GPT-3架构在公开代码数据上微调而成
90%Verified早期GPT-3的上下文窗口仅有4K Token，而现代模型已扩展至128K甚至更长
90%Superseded早期的GPT-3.5仅有4K token的上下文窗口
90%VerifiedGPT-3拥有1750亿参数
90%SupersededOpenAI在2023年6月随GPT-3.5/GPT-4 API更新引入了Function Call能力
90%SupersededFew-shot Prompting由Brown等人在GPT-3论文中正式提出，证明了通过少量示例即可激活模型的上下文学习能力（In-Context Learning），无需任何梯度更新
90%SupersededOpenAI在GPT-3.5时代率先引入了Function Calling功能
90%VerifiedGPT-3.5的上下文窗口为4K token（约3000个英文单词）
90%