模型
MoE-POT
MoE-POT是一种采用同构专家架构的PDE混合专家模型，作为HotPOT的对比基线。
时间轴 (近 90 天)
10月30日
HotPOT在五个PDE族、六种设置下进行了实验，覆盖微调前后共24组同尺度对比，在所有对比中均优于MoE-POT，rollout误差平均降低50.7%。
待验证50%
10月30日
17M参数的HotPOT模型超过了规模显著更大的MoE-POT模型。
待验证50%
MoE-POT是一种采用同构专家架构的PDE混合专家模型，作为HotPOT的对比基线。
HotPOT在五个PDE族、六种设置下进行了实验，覆盖微调前后共24组同尺度对比，在所有对比中均优于MoE-POT，rollout误差平均降低50.7%。
17M参数的HotPOT模型超过了规模显著更大的MoE-POT模型。