模型Embeddings from Language Models
ELMo
Allen Institute for AI 提出的深度上下文相关词表示模型，首次系统展示动态词向量思路，为后续预训练语言模型奠定基础
时间轴 (近 90 天)
10月18日
ELMo 首次系统性地展示了上下文相关表示这一思路，BERT 和 GPT 系列则通过 Transformer 的注意力层将其推向主流。
待验证50%
9月7日
2018年，ELMo引入了上下文相关的嵌入，同一个词在不同语境中获得不同的向量表示，解决了多义词问题
待验证50%
8月22日
ELMo由AllenNLP于2018年提出，使用双向LSTM语言模型将不同层隐藏状态加权组合作为词表示，是上下文嵌入的开创者
待验证50%