已验证75% 置信事实时间未知
Mistral 7B的关键技术创新包括滑动窗口注意力机制（SWA）和分组查询注意力（GQA）
3
来源数
75%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
Mistral AI入选TIME100最具影响力企业：欧洲开源AI的崛起
twitterMistralAI
涉及实体
相关事实
待验证Mistral AI的Mistral 7B模型采用了Sliding Window Attention（滑动窗口注意力）机制，每个token只关注固定窗口内的相邻token71% 相似待验证GQA（Grouped-Query Attention）方案已被LLaMA 3、Mistral等主流模型采用以缓解HBM带宽瓶颈71% 相似待验证GQA将注意力头分组共享KV，已被LLaMA 3、Mistral等主流模型采用69% 相似待验证Mistral和Mixtral等模型采用了交替使用Full Attention和SWA的架构，vLLM的Group分组机制支持这种模式68% 相似待验证Mistral由法国团队开发，以高效的滑动窗口注意力机制著称63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/25871API
curl https://kongchang.com/api/v1/knowledge/claims/25871MCP
get_claim(id=25871)