待验证50% 置信事实精确时间
AntAngelMed 的 BF16 全精度推理需要 8 张 Ascend 910B（64GB）或 4 张 Kunlun P800/PPU 810（96GB）。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
待验证Meta Llama 3的405B参数版本以BF16精度加载需约810GB内存，量化至INT4精度需约200GB72% 相似待验证UD-Q4_K_XL量化版本体积155GB，Top-1精度为96%69% 相似已验证序列长度为4096时，N×N注意力矩阵在FP16精度下仅此一项就消耗约64MB显存68% 相似待验证在 AMD RX 7900 显卡实测中，Ornith 35B 总体准确率 85%（21 项通过 18 项），生成速度 74 tokens/秒，提示词处理 850 tokens/秒，显存占用 20GB67% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1032160API
curl https://kongchang.com/api/v1/knowledge/claims/1032160MCP
get_claim(id=1032160)