Unverified50% confidenceFactExact time

以Q4_0格式为例，每32个FP32权重被打包为一个量化块，包含一个缩放因子和32个4bit整数，平均每参数约占4.5bit，内存占用缩减至原来的约1/8

1

Sources

50%

Confidence

Long-term

Relevance

7/21/2026

First Seen

Sources

transcribe.cpp：基于ggml的统一语音识别引擎，支持16+模型

Related Claims

UnverifiedFP16格式下每个参数占2字节，INT4格式仅占0.5字节，理论上可实现4倍压缩比80% similar Unverified2.4万亿参数模型在FP32下约需9.6TB显存，BF16约需4.8TB，INT8约需2.4TB，INT4约需1.2TB80% similar Unverified使用IQ4_XS配合-fa 1 -ctk q8_0 -ctv q8_0对KV缓存进行q8_0量化后，可加载完整32k上下文，常驻内存约16.6GB78% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/580985

API

curl https://kongchang.com/api/v1/knowledge/claims/580985

MCP

get_claim(id=580985)