概念bidirectional encoder
双向编码器
以BERT为代表的模型架构,编码每个token时同时利用左右两侧上下文,适合分类、意图识别、语义匹配等判别式任务,规模通常数千万到数亿参数。
时间轴 (近 90 天)
10月14日
双向编码器在编码每个token时会同时利用左右两侧的上下文,与GPT类自回归模型只从左到右看上下文的方式不同。
待验证50%
10月14日
双向编码器的典型规模在数千万到数亿参数之间,远小于动辄数十亿参数的生成模型。
待验证50%
10月6日
双向编码器模型每个位置可同时看到左右上下文,适合分类、实体识别等理解类任务;GLiNER和Jev均基于双向编码器思路
待验证50%