待验证50% 置信事实精确时间

以Q4_0格式为例，每32个FP32权重被打包为一个量化块，包含一个缩放因子和32个4bit整数，平均每参数约占4.5bit，内存占用缩减至原来的约1/8

1

来源数

50%

置信度

长期有效

时效性

2026/7/21

首次发现

来源

transcribe.cpp：基于ggml的统一语音识别引擎，支持16+模型

相关事实

待验证FP16格式下每个参数占2字节，INT4格式仅占0.5字节，理论上可实现4倍压缩比80% 相似待验证2.4万亿参数模型在FP32下约需9.6TB显存，BF16约需4.8TB，INT8约需2.4TB，INT4约需1.2TB80% 相似待验证使用IQ4_XS配合-fa 1 -ctk q8_0 -ctv q8_0对KV缓存进行q8_0量化后，可加载完整32k上下文，常驻内存约16.6GB78% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/580985

API

curl https://kongchang.com/api/v1/knowledge/claims/580985

MCP

get_claim(id=580985)