待验证50% 置信事实精确时间

熵正则化技术在MoE领域已有广泛应用，如GShard、Switch Transformer中的负载均衡损失

1

来源数

50%

置信度

长期有效

时效性

2026/10/8

首次发现

来源

MoR-MLLM：用递归混合机制打造高效多模态大模型

涉及实体

GShardproduct Switch Transformerproduct Mixture-of-Expertsconcept

相关事实

待验证SAC（2018）引入最大熵正则化，在连续控制任务中表现卓越，鼓励策略在保持高回报的同时尽可能随机62% 相似待验证SAC引入熵正则化在探索与利用之间取得平衡，是当前连续动作空间的主流选择60% 相似待验证Decision Transformer等Transformer架构的引入为处理超长时序依赖提供了新工具58% 相似待验证Akyürek等人2022年的工作从理论上证明，Transformer在执行上下文学习时其前向传播等价于在注意力层中隐式运行一步梯度下降更新58% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/986861

API

curl https://kongchang.com/api/v1/knowledge/claims/986861

MCP

get_claim(id=986861)