待验证50% 置信事实精确时间
gemma4:26b 的 GGUF Q4_K_M 量化版模型占用约 20,072 MiB 显存，Ollama 默认上下文窗口为 32,768 tokens
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证在NVIDIA L4上，bf16模型（6.32 GiB）的内存带宽理论上限约47 Token/s，而int4模型（2.85 GiB）理论上限约105 Token/s，实测最高达到131.9 Token/s。71% 相似待验证在公平的4-bit对比中，MLX搭配D-Flash 2推测解码跑出16.6 tokens/s，对比Ollama Q4的5.7 tokens/s69% 相似待验证在 Colab A100 实例上通过 Ollama 运行 gemma4:26b（GGUF Q4_K_M），生成速度达 179.42 tok/s，369 tokens 耗时 2.16 秒69% 相似待验证MiniCPM 2B的GGUF量化版本Q4_K_M模型体积仅1.56G，可在4G显存设备上流畅运行69% 相似已验证Muse Glimmer全精度运行需要55GB显存，通过4-bit量化后压缩到20GB以内，可在24GB显存的消费级显卡上运行68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1016385API
curl https://kongchang.com/api/v1/knowledge/claims/1016385MCP
get_claim(id=1016385)