待验证50% 置信事实精确时间

整个混合过程被拆解为三个层次：局部邻域混合、全序列混合、跨注意力头混合

1

来源数

50%

置信度

长期有效

时效性

2026/9/28

首次发现

来源

自编码器替代注意力：更省算力的掩码语言模型新架构

涉及实体

混合模块concept

相关事实

待验证DiffusionGemma依赖双向注意力（去掉因果注意力的下三角掩码），使每个位置能同时关注序列中前后所有位置66% 相似待验证任务分解主流模式包括功能性分解、数据并行分解和流水线分解三种59% 相似待验证ReAct 每次循环产生 Thought-Action-Observation 三元组，会被逐步拼接进上下文窗口，多轮循环会快速消耗模型的 Token 配额58% 相似待验证自注意力机制通过将输入序列线性变换为Query、Key、Value三个矩阵，注意力权重由Q与K的转置相乘后经Softmax归一化得到，再与V相乘得到输出58% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/955572

API

curl https://kongchang.com/api/v1/knowledge/claims/955572

MCP

get_claim(id=955572)