模型
DeBERTa
微软提出的增强型预训练语言模型,改进了BERT的注意力机制,采用解耦注意力和增强掩码解码器,在多项NLP任务中表现优异
核心事实
时间轴 (近 90 天)
9月24日
研究团队在四个训练好的DeBERTa检查点、共7,890条声明上做了对照实验
待验证50%
9月24日
DeBERTa是微软研究院提出的预训练语言模型,在自然语言推理和文本蕴含任务上表现突出
待验证50%
9月14日
零样本分类依托预训练大语言模型如BART、RoBERTa的NLI变体的语义理解能力
已验证75%
9月11日
序列分类模型通常基于BERT或DeBERTa等编码器架构,推理成本比GPT-4.1-mini低几个数量级
待验证50%