待验证50% 置信事实精确时间
Llama-3.1-8B 等模型基于 Transformer 解码器堆叠构建，通常包含32个decoder层，单层参数量约2.5亿，FP16精度下单层约占500MB显存
1
来源数
50%
置信度
长期有效
时效性
2026/8/10
首次发现
来源
相关事实
待验证LLaMA-2 70B 模型共有 80 个 Transformer 层，每层约 8.75 亿参数，FP16 精度下单层约占 1.75GB 显存79% 相似待验证Llama 3 8B有32层、8个KV头（GQA架构，查询头32个）、头维度128，8192上下文FP16单序列下KV缓存约1.07GB69% 相似待验证LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB69% 相似已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB68% 相似待验证典型7B模型（32层、32头、128维度）在FP16精度下处理2048 token序列、批大小8时，KV Cache约消耗4GB显存68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/726754API
curl https://kongchang.com/api/v1/knowledge/claims/726754MCP
get_claim(id=726754)