待验证50% 置信事实精确时间
7B至13B参数量的语言模型已能在消费级GPU甚至部分高端手机芯片上实时运行
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/28
首次发现
有效期至：2026/12/27
来源
涉及实体
相关事实
待验证量化技术如GPTQ、AWQ可以在有限硬件资源下运行更大参数的大语言模型70% 相似已验证大语言模型推理分预填充和解码两阶段：预填充是计算密集型对GPU算力敏感，解码是内存带宽受限任务64% 相似待验证DGX Spark能够在本地运行参数量达700亿（70B）的大型语言模型63% 相似已验证Groq 以自研 LPU（Language Processing Unit）芯片在大语言模型推理延迟上具有优势63% 相似待验证小语言模型通常指参数量在1B以下的语言模型，代表性工作包括微软Phi系列（Phi-1至Phi-3，1.3B-3.8B参数）、谷歌Gemma 2B以及MobileLLM63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/955052API
curl https://kongchang.com/api/v1/knowledge/claims/955052MCP
get_claim(id=955052)