混合注意力

混合注意力（Hybrid Attention）是一种深度学习中的注意力机制设计方法，通过将全局注意力与局部注意力、稀疏注意力等不同注意力策略相结合，在保留长距离依赖建模能力的同时降低计算复杂度。该方法常用于大型语言模型中，以在处理长序列上下文时平衡模型性能与计算效率，是序列建模领域的重要技术方向之一。