待验证50% 置信事实精确时间
MAEP 包含两个核心组件:Delta-H Output(衡量移除专家后 MoE 层输出的变化幅度)和低注意力视觉 token 作为视觉侧剪枝信号。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/5
首次发现
有效期至:2027/2/3
来源
涉及实体
相关事实
待验证模型层级构成为 54 层 KDA(Kimi Delta Attention)线性注意力、17 层 BCSA 压缩稀疏注意力、1 层全注意力(第72层)66% 相似待验证在 MAEP 中,文本侧重要性作为保护信号,视觉侧重要性作为剪枝信号,专家在各层之间进行全局排序。63% 相似待验证MinD-Vis、Brain-Diffuser等工作利用预训练扩散模型从fMRI信号重建视觉刺激62% 相似待验证低注意力视觉 token 作为视觉侧重要性信号具有数据集稳定性:在不同数据集上基于它得到的专家重要性排序保持一致。61% 相似待验证注意力可视化展示 token 之间的注意力权重分布;激活探针在隐藏层上训练线性分类器检验信息可解码性,属于相关性证据;特征归因衡量输入各维度对输出的贡献大小。61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1137654API
curl https://kongchang.com/api/v1/knowledge/claims/1137654MCP
get_claim(id=1137654)