待验证50% 置信事实精确时间
在手机上运行一个3B参数的LLM仍面临约6GB内存占用和数百毫秒的首token延迟
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/8/26
首次发现
有效期至：2026/11/24
来源
涉及实体
相关事实
待验证llama.cpp的GGUF格式4-bit量化版本使Llama 3.1 70B模型可在配备64GB统一内存的Apple M2 Ultra上运行，推理速度约20-30 tokens/秒70% 相似已验证现代CPU的L1缓存访问延迟约为0.5纳秒，L2约为4纳秒，一次主内存访问需要60-100纳秒69% 相似部分验证对于7B参数模型的4-bit量化版本，通常需要至少8GB内存和现代多核CPU即可流畅运行，推理速度约为每秒10-30个token68% 相似待验证若量化后模型权重为150GB，以273GB/s带宽读取一遍权重约需0.55秒，理论上单token生成速度约为1.8 token/s（未计入计算延迟和跨机通信开销）68% 相似待验证用于文本补全任务的小型模型（1B–7B参数）在拥有8GB或以上统一内存的Mac上可流畅运行，推理延迟保持在几百毫秒以内。68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/803928API
curl https://kongchang.com/api/v1/knowledge/claims/803928MCP
get_claim(id=803928)