待验证50% 置信事实精确时间

Muse Glimmer采用混合注意力机制：大部分层只关注2048 token的局部窗口，每隔四层做一次全局全注意力

1

来源数

50%

置信度

长期有效

时效性

2026/8/23

首次发现

来源

Meta开源30B模型Muse Glimmer：一张显卡跑本地Agent的实战解析

涉及实体

Muse Glimmermodel 混合注意力technology

相关事实

待验证Muse Glimmer是稠密模型，每次推理激活全部300亿参数，Flash Attention可将速度提升约1.5到3倍77% 相似待验证Muse Glimmer在实测中视觉能力表现亮眼，高级识图和发票识别均获满分，视觉能力已不输千问71% 相似待验证Sliding Window Attention 被 Mistral 等模型采用，将每个 token 的注意力范围限制在固定窗口内70% 相似待验证多头注意力在不同的低维子空间中并行执行多次注意力操作，通常8头或16头68% 相似待验证Qwen3.5-Omni采用混合注意力MOE（Mixture of Experts）架构66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/789147

API

curl https://kongchang.com/api/v1/knowledge/claims/789147

MCP

get_claim(id=789147)