待验证50% 置信事实精确时间
Nemotron 3.5 Super VL 的 MoE 层激活与查询领域相关的 22 个专家,以每 token 低于 50ms 的延迟产出结构化回答。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至:2027/1/14
来源
涉及实体
相关事实
待验证稀疏 MoE 指前馈层被拆成多个专家,每个 token 只激活其中一小部分,因此 32.9B 总参数每次前向实际计算的参数量远小于稠密模型,但显存仍需容纳全部专家权重。61% 相似待验证在领域特定 NER 任务中,人机聚合一致性指标(如高 kappa 值)可能具有误导性,评估指标的选择必须与任务复杂度相匹配58% 相似待验证多头自注意力机制突破了RNN/LSTM在长序列处理中因梯度消失导致的遗忘瓶颈,并支持GPU/TPU大规模并行计算57% 相似待验证TokenSpeed 的 MLA 解码内核在典型投机解码工作负载下,延迟约为 TensorRT-LLM 的一半。57% 相似待验证MoE通过稀疏激活,每次处理token时路由网络选择Top-K个专家(通常K=2)进行计算,其余专家不参与运算57% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1047855API
curl https://kongchang.com/api/v1/knowledge/claims/1047855MCP
get_claim(id=1047855)