待验证50% 置信事实精确时间
Qwen 2.5 27B 是标准密集型 Transformer，采用 GQA（分组查询注意力）机制，每次推理计算全部 270 亿参数
1
来源数
50%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
待验证Qwen3-4B 版本拥有约40亿参数，采用 Transformer 解码器架构，支持多语言理解与生成75% 相似待验证Qwen底层架构基于Transformer技术，参数规模从70亿到数千亿不等75% 相似已验证Qwen 3.5架构使用改进的Transformer变体，融合了分组查询注意力（GQA）和旋转位置编码（RoPE）等技术74% 相似已验证Qwen（通义千问）由阿里云开发，基于Transformer Decoder架构68% 相似待验证Qwen3.8-Flash-Next采用GDN加QSA的混合注意力机制，总参数125B外加51B的N-gram嵌入，每个Token仅激活约6B参数66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/914949API
curl https://kongchang.com/api/v1/knowledge/claims/914949MCP
get_claim(id=914949)