待验证50% 置信基准精确时间
ViT-Tiny 的 blocks.11.attn.qkv 层 INT8 SQNR 仅 18.8 dB，INT4 仅 7.4 dB。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证使用IQ4_XS配合-fa 1 -ctk q8_0 -ctv q8_0对KV缓存进行q8_0量化后，可加载完整32k上下文，常驻内存约16.6GB65% 相似待验证ViT-S版本嵌入维度为384，为每个16×16图像块输出一个384维特征向量65% 相似待验证Qwen3.8-27B-NVFP4 在单张 RTX PRO 6000 上峰值显存从 72.9 GB 降至 40.2 GB，单步耗时缩短约 11%63% 相似待验证只有四个源层（kv_source_layer_ids = [2,8,14,20]）提供长程 KV，且每层叠加压缩比。63% 相似待验证一位B70用户使用 vLLM + GPT-Q INT4 量化、MTP 深度4，在27B模型上跑出 84.6 tokens/s，但只支持单流且用了不同量化无法直接对比62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1072678API
curl https://kongchang.com/api/v1/knowledge/claims/1072678MCP
get_claim(id=1072678)