Unverified50% confidenceFactExact time
Qwen2于2024年6月发布，将GQA铺到全系列，KV缓存节省40%，训练数据从3万亿Token增长到7万亿
1
Sources
50%
Confidence
Long-term
Relevance
7/22/2026
First Seen
Sources
Related Claims
UnverifiedQwen 2.5系列在2024年推出，覆盖0.5B至72B的全系列开源权重75% similarUnverifiedQwen3于2025年4月发布，Dense模型引入QK RMS Norm，MoE模型取消共享专家并改用更细粒度专家切分配全局批量负载均衡损失，训练数据翻倍到36万亿Token72% similarUnverifiedQwen2于2024年中发布，采用了分组查询注意力（GQA）和滑动窗口注意力等架构改进72% similarUnverifiedQwen1.5于2024年2月发布，首次引入GQA和MoE版本，上下文窗口提升到32K69% similarUnverifiedQwen自2023年正式对外开放并持续迭代69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/585434API
curl https://kongchang.com/api/v1/knowledge/claims/585434MCP
get_claim(id=585434)