待验证50% 置信事实精确时间
MoE 稀疏激活思路最早在自然语言处理中由 Switch Transformer、GShard 等验证。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
Fish发布Drama 3：35B3A MoE语音合成模型登顶TTS
redditr/LocalLLaMA2026/10/15
涉及实体
相关事实
待验证作者认为形式句法表征能够在基于Transformer的NLP中被操作化，成为语言结构与上下文神经建模之间的显式接口64% 相似待验证基于Transformer的大语言模型采用自回归方式逐token生成文本，没有外部符号验证系统来检查每步推理是否合法62% 相似待验证The Transformer spawned two major technical paths: the encoder approach represented by BERT (excelling at understanding) and the decoder approach represented by GPT (excelling at generation), with the decoder approach becoming the dominant paradigm for large language models61% 相似待验证相比早期依赖TF-IDF关键词频率的方法，当前基于Transformer架构的语义理解模型能更准确地捕捉同义表达和上下位关系61% 相似已验证基于Transformer的大语言模型使用注意力机制将系统提示、用户输入和外部检索内容统一编码为同质化的token序列，模型无法在语义层面区分可信指令与不可信数据59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1033887API
curl https://kongchang.com/api/v1/knowledge/claims/1033887MCP
get_claim(id=1033887)