Unverified70% confidenceFactExact time
BigBird采用随机注意力加窗口注意力的混合稀疏策略
2
Sources
70%
Confidence
Long-term
Relevance
9/6/2026
First Seen
Sources
Related Entities
Related Claims
Verified长上下文优化技术包括滑动窗口注意力、稀疏注意力及RoPE旋转位置编码扩展方案58% similarUnverified将自回归基座改造为扩散模型通常涉及将因果注意力掩码替换为双向注意力，并引入噪声调度器和时间步嵌入57% similarUnverified在提示词中显式加入自动纠偏指令可以在每个生成步骤中强化对原始约束的注意力权重57% similarUnverified确定性注意力通过强制规定归约树结构、使用确定性scatter/gather操作并避免原子操作的竞态累加来消除非确定性55% similarUnverified确定性注意力的核心目标是让相同输入与权重无论运行多少次都产生逐比特一致的结果55% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/865963API
curl https://kongchang.com/api/v1/knowledge/claims/865963MCP
get_claim(id=865963)