Cross-Encoder
Cross-Encoder是一种自然语言处理中的文本对编码架构,将两段文本(如查询与文档)拼接后输入单一编码器,通过注意力机制进行深度交互建模,直接输出相关性得分。与双编码器(Bi-Encoder)相比,Cross-Encoder具有更高的语义匹配精度,但推理效率较低,常用于信息检索、问答系统及重排序(Reranking)等需要精细语义理解的任务中。
核心事实
时间轴 (近 90 天)
交叉编码器只适合对候选集(通常 20-100 个)做精排,而非全量检索
Advanced Hybrid RAG 整合向量搜索、关键词检索(BM25)、元数据过滤和交叉编码器重排序四个环节
Cross-Encoder将查询与候选代码片段拼接后一同输入,打分精度高于Bi-Encoder但计算开销更大,因此通常只对ANN召回的Top-K候选结果进行重排
Advanced RAG在检索前引入Query Rewriting(查询改写)和HyDE(假设性文档嵌入)优化查询质量,在检索后通过Cross-Encoder重排序和上下文压缩提升相关性
重排器通常使用交叉编码器实现,将查询和文档拼接后联合输入Transformer模型,排序精度显著高于初检阶段
交叉编码器将两段文本拼接输入Transformer通过自注意力捕捉精确匹配信号,但计算成本是双塔的数百倍
交叉编码器(Cross-Encoder)将查询与每个候选文档拼接后联合输入同一模型,通过注意力机制捕捉词级交互,排序精度优于向量相似度,但延迟随候选集规模线性增长
重排序(Re-ranking)机制在初步检索后引入交叉编码器(Cross-Encoder)对候选文档重新打分,提升输入大模型的上下文质量
标准RAG流程分为索引、检索、生成三个阶段
Cross-Encoder重排序模型能以更高计算代价换取更精准的结果排序
还有 1 条时间轴事件
全部知识事实 (18)
混合检索(Hybrid Search)将向量检索与BM25关键词检索的结果通过RRF(倒数排名融合)等算法合并,兼顾语义理解与精确匹配
90%已验证Reranking阶段通常使用交叉编码器(Cross-Encoder),将查询和文档拼接后联合编码,比双塔模型能更精确判断相关性但计算成本更高
80%已验证Reranker通常采用Cross-Encoder架构,与向量检索使用的Bi-Encoder架构形成对比
75%已验证交叉编码器(Cross-Encoder)将查询与每个候选文档拼接后联合输入同一模型,通过注意力机制捕捉词级交互,排序精度优于向量相似度,但延迟随候选集规模线性增长
65%已验证重排序(Re-ranking)机制在初步检索后引入交叉编码器(Cross-Encoder)对候选文档重新打分,提升输入大模型的上下文质量
65%已验证标准RAG流程分为索引、检索、生成三个阶段
65%已验证Cross-Encoder重排序模型能以更高计算代价换取更精准的结果排序
65%待验证Bi-Encoder将问题和文档分别独立编码成向量再计算相似度,Cross-Encoder将问题和候选文档拼接后一起输入模型通过注意力机制充分交互
95%待验证AI Search使用两阶段检索架构:第一阶段基于向量相似度粗筛,第二阶段使用Reranker模型精排
90%待验证重排器通常使用交叉编码器实现,将查询和文档拼接后联合输入Transformer模型,排序精度显著高于初检阶段
60%待验证Rerank(重排序)使用Cross-Encoder模型对Top-K召回的候选片段重新打分排序,精度远高于Bi-Encoder
60%待验证重排序(Rerank)模型如Cohere Rerank、BGE-Reranker利用Cross-Encoder架构对查询与文档相关性进行精细评分,是RAG精度优化的关键一环
60%待验证交叉编码器只适合对候选集(通常 20-100 个)做精排,而非全量检索
50%待验证Advanced Hybrid RAG 整合向量搜索、关键词检索(BM25)、元数据过滤和交叉编码器重排序四个环节
50%待验证Cross-Encoder将查询与候选代码片段拼接后一同输入,打分精度高于Bi-Encoder但计算开销更大,因此通常只对ANN召回的Top-K候选结果进行重排
50%待验证Advanced RAG在检索前引入Query Rewriting(查询改写)和HyDE(假设性文档嵌入)优化查询质量,在检索后通过Cross-Encoder重排序和上下文压缩提升相关性
50%待验证交叉编码器将两段文本拼接输入Transformer通过自注意力捕捉精确匹配信号,但计算成本是双塔的数百倍
50%待验证重排序通常采用CrossEncoder架构,将查询与候选块拼接后进行相关性评分,在工业级RAG系统中已成为标准的粗排+精排两阶段架构
50%