Unverified50% confidenceFactExact time
Llama 3于2024年发布，参数规格为8B、70B和405B，训练数据量超过15万亿tokens，采用分组查询注意力（GQA）技术
1
Sources
50%
Confidence
Long-term
Relevance
8/12/2026
First Seen
Sources
Related Claims
UnverifiedMeta的Llama系列从2023年开始开源，Llama 3.1版本最大参数量达405B68% similarVerifiedLLaMA由Meta于2023年发布，是开源大语言模型的标志性项目，证明了在高质量数据上训练的较小模型可以匹敌参数量大得多的闭源模型67% similarUnverifiedLlama 2于2023年7月发布，将上下文长度扩展至4096 tokens，并提供经过RLHF微调的Chat版本63% similarUnverifiedLlama 1于2023年2月发布，参数规模为7B至65B，采用纯Transformer解码器架构，引入RoPE位置编码和SwiGLU激活函数62% similarUnverifiedQwen2于2024年6月发布，将GQA铺到全系列，KV缓存节省40%，训练数据从3万亿Token增长到7万亿61% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/733650API
curl https://kongchang.com/api/v1/knowledge/claims/733650MCP
get_claim(id=733650)