待验证50% 置信事实精确时间
注意力汇聚点(Attention Sinks)由MIT的Xiao等人在2023年的StreamingLLM论文中系统描述，指Transformer会将大量注意力权重分配给序列开头的第1-4个token
1
来源数
50%
置信度
长期有效
时效性
2026/8/31
首次发现
来源
涉及实体
相关事实
待验证Sora采用了Diffusion Transformer（DiT）架构，将Transformer全局注意力机制引入扩散框架66% 相似待验证在Transformer架构中，MLP层承担了大量的信息处理工作64% 相似待验证Transformers库集成了GPTQ、AWQ、bitsandbytes等量化技术和Flash Attention加速方案64% 相似待验证Megatron-LM最早系统化提出了针对Transformer的张量并行方案，将注意力头和FFN层分别切分到不同设备63% 相似待验证The Transformer architecture uses a Self-Attention mechanism to achieve efficient parallel processing of sequential data, replacing RNN/LSTM architectures.63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/829111API
curl https://kongchang.com/api/v1/knowledge/claims/829111MCP
get_claim(id=829111)