Llama 3
Meta发布的第三代Llama开源大语言模型，训练数据中包含多语言语料，在多语言理解和推理能力上相比前代有显著提升。
核心事实
时间轴 (近 90 天)
GenieX 官方宣称开箱即支持 Llama 3、Mistral 以及多模态 VLM 模型架构。
Meta 表示 Llama 3 转向了 128K token 词表，在同样文本上比 Llama 2 少用最多 15% 的 token。
文中使用的 @cf/meta/llama-3-8b-instruct 是 Meta 发布的 Llama 3 系列 80 亿参数指令微调版本模型。
Llama 3 是 Meta 发布的开放权重模型家族，常见规格有 8B 与 70B，开放权重意味着下载后可完全离线推理并可自行微调。
Llama 3系列等采用类似分块压缩或稀疏化技术的开源模型，或多或少都存在类似相位敏感性问题。
分组查询注意力（GQA）由Ainslie等人于2023年提出，是介于多头注意力（MHA）和多查询注意力（MQA）之间的折中方案，Llama 3.1 8B使用32个query头分为8组，每组4个query头共享1个KV头，使KV cache相较MHA缩小4倍。
Meta训练Llama 3系列时使用了超过1.6万张H100，头部机构训练集群规模普遍在数万张GPU以上
Llama 3系列使用<|begin_of_text|>、<|start_header_id|>user<|end_header_id|>等特殊token划定角色边界
mT5、Llama 3等多语言模型在构建分词器时会显式设计语言预算，按书写系统或语系分配词表槽位
开源小型模型如Llama 3系列的8B或70B参数版本经过微调后可在本地GPU服务器上自托管运行，边际成本极低
还有 29 条时间轴事件
全部知识事实 (20)
Cursor 目前支持的模型阵容涵盖 OpenAI GPT-4o 系列、Anthropic Claude 3.x 系列、Google Gemini 系列以及部分开源模型
75%已验证Meta此前发布LLaMA 2和LLaMA 3时采用自定义社区许可证，对月活超过7亿的企业设置额外授权门槛
75%已验证Ollama是一个开源的本地大语言模型运行框架，支持Llama 3、Mistral、CodeLlama、DeepSeek Coder等开源模型
70%待验证可用于本地部署的模型从轻量级的Phi-3、Gemma到重量级的Llama 3、Qwen2.5都可以根据硬件条件自由切换
90%待验证Llama 3、Qwen、DeepSeek等开源模型部署到本地后几乎零边际成本
85%待验证Llama 3 8B模型（80亿参数）运行约需7GB显存
80%待验证npcpy的模型微调使用Beta为0.1的DPO，并用SFT迁移了Llama 3的学术风格用于科学写作场景
80%待验证通义千问系列在中文响应速度上明显优于Llama 3，因为其预训练语料库包含大量高质量中文文本且采用了针对中文优化的分词器
75%待验证Llama 3提供了8B和70B两个版本，在英文通用任务上的表现已经接近GPT-4级别的闭源模型
70%待验证Meta的Llama 3在训练过程中大量使用了Llama 2生成的合成数据来增强特定能力
70%待验证Llama 3、Qwen 2.5等开源模型在代码生成任务上已接近商业模型水平
70%待验证Meta的Llama 3训练使用了超过16,000块H100 GPU
70%部分验证AnythingLLM支持通过Ollama运行Llama 3、Mistral、Qwen等开源模型，也可接入OpenAI GPT-4、Claude、Gemini等商业模型API
65%待验证Llama 3、Qwen2/3等主流开源模型均已采用GQA
60%待验证本地推理受限于用户硬件，一个7B参数量化模型（如Llama 3 8B的Q4版本）文件约4-5GB，在Apple M系列芯片Mac上可达每秒20-40个token，在仅有集成显卡和8GB内存的笔记本上可能降至每秒3-5个token
60%待验证本地运行的开源LLM模型通常只有4K到32K tokens的上下文容量，受硬件内存限制
60%待验证GenieX 官方宣称开箱即支持 Llama 3、Mistral 以及多模态 VLM 模型架构。
50%待验证Meta 表示 Llama 3 转向了 128K token 词表，在同样文本上比 Llama 2 少用最多 15% 的 token。
50%待验证文中使用的 @cf/meta/llama-3-8b-instruct 是 Meta 发布的 Llama 3 系列 80 亿参数指令微调版本模型。
50%待验证Llama 3 是 Meta 发布的开放权重模型家族，常见规格有 8B 与 70B，开放权重意味着下载后可完全离线推理并可自行微调。
50%