#混合专家模型
共 2 篇相关文章
·4 分钟
HotPOT：异构物理专家如何破解PDE预训练干扰难题
HotPOT提出异构物理专家架构，用共享编码器加神经-数值专家破解PDE预训练跨任务干扰，24组对比全部优于MoE-POT，rollout误差平均降低50.7%，17M小模型超越更大基线。
阅读全文 →
·6 分钟
Nemotron 3.5双模型发布：Mamba-Transformer混合架构为Agentic AI提速
英伟达发布 Nemotron 3.5 Super 与 Lightning：120B/12B 激活多模态与 30B/3B 激活文本模型，混合 Mamba-Transformer 架构，SWE-bench Pro 达 51.78%，GB200 单卡最高 4856 token/s。
阅读全文 →