Cross-Encoder是一种自然语言处理中的文本对编码架构,将两段文本(如查询与文档)拼接后输入单一编码器,通过注意力机制进行深度交互建模,直接输出相关性得分。与双编码器(Bi-Encoder)相比,Cross-Encoder具有更高的语义匹配精度,但推理效率较低,常用于信息检索、问答系统及重排序(Reranking)等需要精细语义理解的任务中。
Reranking阶段通常使用交叉编码器(Cross-Encoder),将查询和文档拼接后联合编码,比双塔模型能更精确判断相关性但计算成本更高
Bi-Encoder将问题和文档分别独立编码成向量再计算相似度,Cross-Encoder将问题和候选文档拼接后一起输入模型通过注意力机制充分交互
Rerank(重排序)使用Cross-Encoder模型对Top-K召回的候选片段重新打分排序,精度远高于Bi-Encoder
AI Search使用两阶段检索架构:第一阶段基于向量相似度粗筛,第二阶段使用Reranker模型精排
重排序(Rerank)模型如Cohere Rerank、BGE-Reranker利用Cross-Encoder架构对查询与文档相关性进行精细评分,是RAG精度优化的关键一环
Reranker通常采用Cross-Encoder架构,与向量检索使用的Bi-Encoder架构形成对比