已验证65% 置信事实精确时间

Llama 3.3 70B经过4-bit量化后模型大小约为40GB，可在配备64GB内存的Mac Studio或单张48GB显存的专业GPU上运行

3

来源数

65%

置信度

长期有效

时效性

2024/12/8

首次发现

来源

Llama 3.3 70B深度测评：13道题实测最强开源大模型

bilibiliAI-seeker2024/12/8

涉及实体

Llama 3.3 70Bmodel Mac Studioproduct

相关事实

待验证Llama-3（8B）的全量微调约需80GB以上显存，Llama-3（70B）则需要超过400GB79% 相似待验证27B稠密模型在24GB M4 Pro Mac mini上使用4-bit量化可以运行，速度约为11 tok/s78% 相似待验证本地推理受限于用户硬件，一个7B参数量化模型（如Llama 3 8B的Q4版本）文件约4-5GB，在Apple M系列芯片Mac上可达每秒20-40个token，在仅有集成显卡和8GB内存的笔记本上可能降至每秒3-5个token77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/672

API

curl https://kongchang.com/api/v1/knowledge/claims/672

MCP

get_claim(id=672)