待验证50% 置信事实精确时间

Minimax已用线性注意力思路训练出456B参数的MoE，仍需偶尔使用全注意力

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

深入理解大模型推理：为什么生成如此之慢，又该如何加速

涉及实体

Minimaxcompany 线性注意力concept

相关事实

待验证MiniMind 覆盖了Tokenizer训练、预训练、监督微调SFT、LoRA微调、DPO强化学习、模型蒸馏等完整环节68% 相似待验证ALiBi在注意力分数中加入与距离成线性比例的负偏置项，实现近程优先的注意力模式，且外推长度几乎不受训练长度限制65% 相似待验证目前发布的 H3 权重并未启用模型训练时使用的更快稀疏注意力路径，团队将发布一个刻意保守的稀疏注意力版本64% 相似待验证少样本示例（Few-shot Prompting）的工作原理基于Transformer注意力机制，无需更新模型权重，被称为上下文学习（In-context Learning）62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/942440

API

curl https://kongchang.com/api/v1/knowledge/claims/942440

MCP

get_claim(id=942440)