ModernBERT

2024年底发布的BERT架构改进版编码器模型，在保留双向注意力优势的同时引入旋转位置编码（RoPE）、交替局部/全局注意力等现代化设计，适用于轻量级编码器任务