Llama 3.1 405B
Llama 3.1 405B是Meta AI发布的大规模开源语言模型，拥有4050亿参数，是Llama系列中规模最大的版本。该模型支持多语言文本理解与生成、复杂推理、代码编写及长上下文处理等任务，面向研究者和开发者开放权重，可用于学术研究、商业应用及二次微调开发，在多项基准测试中与主流闭源大模型性能相当。
核心事实
时间轴 (近 90 天)
Ascent GX10支持双机堆叠扩展，最高可支持405B参数模型的开发与推理。
单台GX10的原生内存容量通常不足以独立承载完整405B模型，所谓最高支持405B依赖双机堆叠后内存池的聚合以及量化和张量并行技术。
到2024年底，Llama 3.1 405B、Qwen2.5-72B等开源模型在多项评测中已接近甚至部分超越GPT-4水平
Llama 3.1 405B在MMLU上的得分已接近GPT-4o的水平，Qwen 2.5 72B在数学和代码生成基准上某些指标超越了GPT-4 Turbo
Meta训练Llama 3.1 405B使用了超过16,000块H100 GPU，训练耗时数月，成本可能超过1亿美元
全部知识事实 (6)
Meta发布的Llama 3.1 405B在多项基准测试中已接近GPT-4水平
80%已验证Meta训练Llama 3.1 405B使用了超过16,000块H100 GPU，训练耗时数月，成本可能超过1亿美元
65%待验证Llama 3.1 405B在MMLU上的得分已接近GPT-4o的水平，Qwen 2.5 72B在数学和代码生成基准上某些指标超越了GPT-4 Turbo
60%待验证Ascent GX10支持双机堆叠扩展，最高可支持405B参数模型的开发与推理。
50%待验证单台GX10的原生内存容量通常不足以独立承载完整405B模型，所谓最高支持405B依赖双机堆叠后内存池的聚合以及量化和张量并行技术。
50%待验证到2024年底，Llama 3.1 405B、Qwen2.5-72B等开源模型在多项评测中已接近甚至部分超越GPT-4水平
50%