[控场AI]
概念bidirectional encoder

双向编码器

以BERT为代表的模型架构,编码每个token时同时利用左右两侧上下文,适合分类、意图识别、语义匹配等判别式任务,规模通常数千万到数亿参数。

时间轴 (近 90 天)

10月14日

双向编码器在编码每个token时会同时利用左右两侧的上下文,与GPT类自回归模型只从左到右看上下文的方式不同。

待验证50%
10月14日

双向编码器的典型规模在数千万到数亿参数之间,远小于动辄数十亿参数的生成模型。

待验证50%
10月6日

双向编码器模型每个位置可同时看到左右上下文,适合分类、实体识别等理解类任务;GLiNER和Jev均基于双向编码器思路

待验证50%

全部知识事实 (3)

来源文章