Llama 3
Meta发布的第三代Llama开源大语言模型，训练数据中包含多语言语料，在多语言理解和推理能力上相比前代有显著提升。
核心事实
时间轴 (近 90 天)
Pedigree 目前只对 Llama 3 和 Llama 3.2 的许可证文本做过逐条比对，其他许可证对应的规则标记为未验证；未验证规则产生的标记只是线索，可能漏报或误报，不能作为法律判断依据。
工作坊环境包含部署在Oracle Cloud上的Llama 3模型、数据库连接和若干Jupyter笔记本。
现代大模型（如Qwen、Llama 3、Mistral等）普遍采用分组查询注意力（GQA），KV头数通常远小于查询头数。
Llama 3 由 Meta 发布，其 8B 版本被认为是消费级硬件的甜点模型。
Llama 3 旗舰版在 15.6 万亿 token 上预训练，计算量约为最大 Llama 2 的 50 倍。
GPT-4、Llama 3、Claude 等几乎所有前沿模型的训练集群都以 H100 为核心。
GenieX 官方宣称开箱即支持 Llama 3、Mistral 以及多模态 VLM 模型架构。
Meta 表示 Llama 3 转向了 128K token 词表，在同样文本上比 Llama 2 少用最多 15% 的 token。
开源模型托管平台不拥有模型，而是将 Llama、Mistral、Qwen 等开源权重部署在自有或租用的算力上，通过 API 对外提供服务。
文中使用的 @cf/meta/llama-3-8b-instruct 是 Meta 发布的 Llama 3 系列 80 亿参数指令微调版本模型。
还有 37 条时间轴事件
全部知识事实 (20)
Cursor 目前支持的模型阵容涵盖 OpenAI GPT-4o 系列、Anthropic Claude 3.x 系列、Google Gemini 系列以及部分开源模型
75%已验证Meta此前发布LLaMA 2和LLaMA 3时采用自定义社区许可证，对月活超过7亿的企业设置额外授权门槛
75%已验证Ollama是一个开源的本地大语言模型运行框架，支持Llama 3、Mistral、CodeLlama、DeepSeek Coder等开源模型
70%待验证可用于本地部署的模型从轻量级的Phi-3、Gemma到重量级的Llama 3、Qwen2.5都可以根据硬件条件自由切换
90%待验证Llama 3、Qwen、DeepSeek等开源模型部署到本地后几乎零边际成本
85%待验证Llama 3 8B模型（80亿参数）运行约需7GB显存
80%待验证npcpy的模型微调使用Beta为0.1的DPO，并用SFT迁移了Llama 3的学术风格用于科学写作场景
80%待验证通义千问系列在中文响应速度上明显优于Llama 3，因为其预训练语料库包含大量高质量中文文本且采用了针对中文优化的分词器
75%待验证Llama 3提供了8B和70B两个版本，在英文通用任务上的表现已经接近GPT-4级别的闭源模型
70%待验证Meta的Llama 3在训练过程中大量使用了Llama 2生成的合成数据来增强特定能力
70%待验证Llama 3、Qwen 2.5等开源模型在代码生成任务上已接近商业模型水平
70%待验证Meta的Llama 3训练使用了超过16,000块H100 GPU
70%部分验证AnythingLLM支持通过Ollama运行Llama 3、Mistral、Qwen等开源模型，也可接入OpenAI GPT-4、Claude、Gemini等商业模型API
65%待验证Llama 3、Qwen2/3等主流开源模型均已采用GQA
60%待验证本地推理受限于用户硬件，一个7B参数量化模型（如Llama 3 8B的Q4版本）文件约4-5GB，在Apple M系列芯片Mac上可达每秒20-40个token，在仅有集成显卡和8GB内存的笔记本上可能降至每秒3-5个token
60%待验证本地运行的开源LLM模型通常只有4K到32K tokens的上下文容量，受硬件内存限制
60%待验证Pedigree 目前只对 Llama 3 和 Llama 3.2 的许可证文本做过逐条比对，其他许可证对应的规则标记为未验证；未验证规则产生的标记只是线索，可能漏报或误报，不能作为法律判断依据。
50%待验证工作坊环境包含部署在Oracle Cloud上的Llama 3模型、数据库连接和若干Jupyter笔记本。
50%待验证现代大模型（如Qwen、Llama 3、Mistral等）普遍采用分组查询注意力（GQA），KV头数通常远小于查询头数。
50%待验证Llama 3 由 Meta 发布，其 8B 版本被认为是消费级硬件的甜点模型。
50%