CodeBERT

CodeBERT是微软研究院开发的双模态预训练语言模型，基于Transformer架构，同时在自然语言与多种编程语言数据上进行预训练。该模型能够联合建模自然语言与代码的语义关系，支持代码搜索、代码文档生成、缺陷检测、代码理解等多类软件工程任务，是面向编程语言处理领域的基础预训练模型之一。