论文arXiv:2609.30288 / Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling

arXiv论文：低秩瓶颈自编码器替代注意力

提出用低秩瓶颈自编码器替代Transformer注意力机制的掩码语言模型新架构论文，包含三层混合模块设计和迭代流形精修方法，在降低FLOPs的同时接近BERT性能

来源文章