待验证50% 置信基准精确时间
内存需求为Q2_0至少37.6GB、IQ2_XS至少39.2GB、IQ3_XXS至少47GB，视觉编码器额外占用0.91GB
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/24
首次发现
有效期至：2026/12/23
来源
涉及实体
相关事实
待验证使用IQ4_XS配合-fa 1 -ctk q8_0 -ctv q8_0对KV缓存进行q8_0量化后，可加载完整32k上下文，常驻内存约16.6GB78% 相似待验证IQ2_XS可以将模型压缩到接近2 bit/权重，使原本需要48GB显存的70B模型能塞入24GB消费级显卡78% 相似待验证以约160GB的模型（如Qwen3.5-397B的UD-Q3_K_XL量化版本）为例，运行透镜需额外约20GB内存75% 相似待验证IQ4_XS量化文件大小15.57GB，pp2048为95.4 tok/s，tg128为10.9 tok/s73% 相似待验证Qwen 9B 文本测试进程内存峰值约 6.5GB，视觉模块跑图片测试时内存峰值飙到约 10.8GB72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/948584API
curl https://kongchang.com/api/v1/knowledge/claims/948584MCP
get_claim(id=948584)