待验证50% 置信事实精确时间
Llama-3 70B采用80层Transformer、每层64个注意力头、每头128维配置，并采用GQA设计
1
来源数
50%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
AMD Ryzen AI Halo开发套件：4000美元本地大模型利器对标苹果英伟达
bilibiliSynthMindX2026/7/7
相关事实
待验证LLaMA-2 70B采用80层、64个注意力头的架构，并使用GQA（8个KV头共享64个Q头）77% 相似待验证LLaMA-2 70B 模型共有 80 个 Transformer 层，每层包含自注意力机制和前馈神经网络两大模块73% 相似待验证Llama.cpp 的 -ngl 参数控制将多少 Transformer 层放到 GPU 显存中运行，若显存不足会自动将放不下的层回退到 CPU 形成混合推理模式70% 相似待验证Megatron-LM最早系统化提出了针对Transformer的张量并行方案，将注意力头和FFN层分别切分到不同设备67% 相似已验证Qwen 3.5架构使用改进的Transformer变体，融合了分组查询注意力（GQA）和旋转位置编码（RoPE）等技术67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/429897API
curl https://kongchang.com/api/v1/knowledge/claims/429897MCP
get_claim(id=429897)