共 1 篇相关文章
最新研究通过因果干预揭示MoE路由的控制边界:在Qwen3-30B-A3B上,强制token沿格式专家路径能改变生成文本,而概念路径仅改变下一token概率却难影响输出。格式效应自我强化,概念效应集中于中间层,为MoE可解释性提供新视角。