待验证50% 置信事实精确时间
IQ4_XS的平均量化位宽约为4.25 bit
1
来源数
50%
置信度
长期有效
时效性
2026/9/25
首次发现
来源
涉及实体
相关事实
待验证IQ4_XS量化文件大小15.57GB，pp2048为95.4 tok/s，tg128为10.9 tok/s78% 相似待验证以Q4_0格式为例，每32个FP32权重被打包为一个量化块，包含一个缩放因子和32个4bit整数，平均每参数约占4.5bit，内存占用缩减至原来的约1/870% 相似待验证Qwen3-27B的16个全注意力层每层拥有4个KV头、256的头维度，在16位精度下每个Token占用64KB68% 相似待验证70B模型在INT4精度下可压缩至约35GB68% 相似待验证IQ2_XS可以将模型压缩到接近2 bit/权重，使原本需要48GB显存的70B模型能塞入24GB消费级显卡67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/949598API
curl https://kongchang.com/api/v1/knowledge/claims/949598MCP
get_claim(id=949598)