待验证50% 置信事实精确时间
官方Qwen3-8B配置为36层、8个KV头、头维度128，滑动窗口注意力关闭；在缓存8192 token、每元素2字节、单序列条件下，KV缓存约为1.125 GiB。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至：2027/1/16
来源
涉及实体
相关事实
待验证Qwen3-27B的16个全注意力层每层拥有4个KV头、256的头维度，在16位精度下每个Token占用64KB79% 相似待验证Llama 3 8B有32层、8个KV头（GQA架构，查询头32个）、头维度128，8192上下文FP16单序列下KV缓存约1.07GB71% 相似待验证使用IQ4_XS配合-fa 1 -ctk q8_0 -ctv q8_0对KV缓存进行q8_0量化后，可加载完整32k上下文，常驻内存约16.6GB71% 相似待验证Qwen3 27B拥有64层网络、5120隐藏维度，原生上下文长度达262144 tokens70% 相似待验证Qwen-2引入了GQA、支持128K token的上下文窗口和基于字节级BPE的分词器（词表约15万），参数规模从0.5B到72B70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1057305API
curl https://kongchang.com/api/v1/knowledge/claims/1057305MCP
get_claim(id=1057305)