Llama 2
Meta发布的开放权重大语言模型系列，提供7B、13B、70B等多种参数规模版本，支持本地部署，是首批商业上取得成功的开源LLM之一
核心事实
时间轴 (近 90 天)
GQA将KV Cache相对MHA压缩约8倍，并成为Llama 2/3、Qwen、Mistral等主流开源模型的标准选择。
Llama 2与Llama 3的发布打破了闭源模型对高性能AI能力的垄断
Llama 3在许可证限制上比Llama 2做了一定程度的放宽，但仍非OSI认证的标准开源协议
Meta公开了Llama 2/3的权重，但附有特定商业使用限制
LLaMA泄露事件促使Meta在后续Llama 2和Llama 3发布时调整了许可协议策略
Llama 2 是首批商业上取得成功的开放权重（open-weight）模型之一，由 Meta 发布
Llama 2 提供 70 亿、130 亿和 700 亿参数的多个版本
Llama系列是Meta自2023年起陆续开源的大型语言模型家族，包括Llama 2、Llama 3等版本，参数规模从70亿到700亿不等
Meta的Llama 2(700亿参数版本)使用了180万GPU小时进行训练
Meta在2023-2024年间相继开源Llama 2和Llama 3系列，使先进模型架构和训练方法论迅速扩散至整个行业，将各家之间的技术代差窗口期从6-12个月压缩到2-3个月
还有 6 条时间轴事件
全部知识事实 (20)
Meta此前发布LLaMA 2和LLaMA 3时采用自定义社区许可证，对月活超过7亿的企业设置额外授权门槛
75%已验证Meta的Llama系列许可证明确禁止月活用户超过7亿的商业产品使用，并要求衍生模型保留品牌标识
65%已验证CodeLlama由Meta基于Llama 2进行代码领域持续预训练和指令微调，提供7B、13B、34B等多种参数规模
65%待验证Mistral的7B模型在发布时超越了Llama 2 13B的表现
85%待验证Meta的Llama 3在训练过程中大量使用了Llama 2生成的合成数据来增强特定能力
70%待验证GQA将KV Cache相对MHA压缩约8倍，并成为Llama 2/3、Qwen、Mistral等主流开源模型的标准选择。
50%待验证Llama 2与Llama 3的发布打破了闭源模型对高性能AI能力的垄断
50%待验证Llama 3在许可证限制上比Llama 2做了一定程度的放宽，但仍非OSI认证的标准开源协议
50%待验证Meta公开了Llama 2/3的权重，但附有特定商业使用限制
50%待验证LLaMA泄露事件促使Meta在后续Llama 2和Llama 3发布时调整了许可协议策略
50%待验证Llama 2 提供 70 亿、130 亿和 700 亿参数的多个版本
50%待验证Llama 2 是首批商业上取得成功的开放权重（open-weight）模型之一，由 Meta 发布
50%待验证Llama系列是Meta自2023年起陆续开源的大型语言模型家族，包括Llama 2、Llama 3等版本，参数规模从70亿到700亿不等
50%待验证Meta的Llama 2(700亿参数版本)使用了180万GPU小时进行训练
50%待验证GQA 技术最初由 Google Research 在 2023 年提出，随后被 Llama 2、Mistral 等主流模型广泛采用
50%待验证Meta 在发布 Llama 2 时的安全报告中承认，安全微调导致模型在某些基准测试上得分出现下降
50%待验证Andrej Karpathy 用约700行C代码实现了 Llama 2 推理的 llama2.c 项目
50%待验证Llama 2 的 chat 模板使用 [INST] 和 [/INST] 标记界定用户指令，使用 <<SYS>> 和 <</SYS>> 标记界定系统提示
50%待验证Meta的Llama系列最新版本为Llama 4
50%待验证Meta在2023-2024年间相继开源Llama 2和Llama 3系列，使先进模型架构和训练方法论迅速扩散至整个行业，将各家之间的技术代差窗口期从6-12个月压缩到2-3个月
50%