[控场AI]

#MoE模型

共 5 篇相关文章

Inkling 2 Small:会“看”也会改的594B MoE模型
·5 分钟

Inkling 2 Small:会“看”也会改的594B MoE模型

Thinking Machines Lab 发布 Inkling 2 Small,594B 参数 MoE 模型仅激活 17B,主打能看见并优化自身产出的长周期编程与视觉任务,通过 Tinker 平台提供推理和微调。

阅读全文 →
Mac Studio实测:122B模型如何做家庭财务分析师
·7 分钟

Mac Studio实测:122B模型如何做家庭财务分析师

Mac Studio M3 Ultra 96GB 本地运行 Qwen3.5-122B-A10B,担任家庭财务分析师。详解 MoE 模型部署、事实核查流水线、以及大模型给出自信但错误建议时的修复方案。

阅读全文 →
8GB显卡跑120B Nemotron:跳过零值,找真瓶颈
·7 分钟

8GB显卡跑120B Nemotron:跳过零值,找真瓶颈

开发者用8GB RTX 5060运行120B Nemotron-3.5-Super MoE模型,达到8.2 tok/s。核心洞察:按字节每token计算,跳过ReLU²零值,发现真正瓶颈是NVMe读取而非Python开销。

阅读全文 →
llama.cpp新增MoE专家GPU缓存:显存不足者的提速利器
·5 分钟

llama.cpp新增MoE专家GPU缓存:显存不足者的提速利器

llama.cpp 提交 PR #29887,为存放在主机内存中的 MoE 专家权重添加 GPU 缓存,有望为显存不足的用户带来显著推理提速。解析其技术思路与适用场景。

阅读全文 →
Naive-N0.5-Flash实测:AI训练AI是真突破还是营销噱头?
·6 分钟

Naive-N0.5-Flash实测:AI训练AI是真突破还是营销噱头?

Naive-N0.5-Flash开源模型实测解析:309B MoE、100万上下文、2000 token/s,宣称由AI训练。实测发现其基于小米MiMo-V2.5二次训练,技术均为成熟开源方案,「AI造AI」更像营销噱头。

阅读全文 →