待验证50% 置信事实精确时间

v5.19.0 中所有计算路由 logits 的 MoE 模型行为被统一，设置 output_router_logits=True 时都会返回路由 logits，遵循 Qwen3-MoE 的模式

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/6

首次发现

有效期至：2027/1/4

来源

Transformers v5.19.0 发布：EmbeddingGemma 2 多模态嵌入与 MoE 重大变更

涉及实体

Transformersproduct Qwen3-MoEmodel

相关事实

已验证MoE架构通过路由器动态选择少数专家参与计算，实现稀疏激活，GPT-4、Mistral、DeepSeek等主流前沿模型均采用类似设计60% 相似待验证GPT-4、Mistral等大语言模型已通过MoE架构将不同输入路由至专门化的子网络处理58% 相似待验证ChatGPT、Claude、Gemini等主流模型均采用了类似RLHF的路线56% 相似待验证Qwen2.5-Coder 在 HumanEval 等代码生成基准上展现出接近 GPT-4o 的表现，其7B版本量化后可在普通笔记本上运行55% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/981732

API

curl https://kongchang.com/api/v1/knowledge/claims/981732

MCP

get_claim(id=981732)