Bi-Encoder
一种将查询和文档分别独立编码为向量的检索架构,文档向量可预计算建索引,支持高效近似最近邻搜索,但查询与文档无交互,精度有限
核心事实
时间轴 (近 90 天)
Cross-Encoder与Bi-Encoder有本质区别:Bi-Encoder独立编码查询和文档,速度快但精度有限,适合第一阶段召回;Cross-Encoder将[query, document]拼接输入Transformer,精度更高但无法预计算,适合对Top-20到Top-100的小候选集重排序。ms-marco-MiniLM-L-6-v2是6层结构,单次推理约几十毫秒,是生产环境中性价比高的重排序选择。
Cross-Encoder将查询与候选代码片段拼接后一同输入,打分精度高于Bi-Encoder但计算开销更大,因此通常只对ANN召回的Top-K候选结果进行重排
双塔模型可离线预计算文档向量并建立索引,检索速度快但编码阶段两段文本互不可见,无法建模细粒度词级交互
全部知识事实 (6)
Reranker通常采用Cross-Encoder架构,与向量检索使用的Bi-Encoder架构形成对比
75%已验证Rerank(重排序)使用Cross-Encoder模型对Top-K召回的候选片段重新打分排序,精度远高于Bi-Encoder
65%待验证Bi-Encoder将问题和文档分别独立编码成向量再计算相似度,Cross-Encoder将问题和候选文档拼接后一起输入模型通过注意力机制充分交互
95%待验证Cross-Encoder与Bi-Encoder有本质区别:Bi-Encoder独立编码查询和文档,速度快但精度有限,适合第一阶段召回;Cross-Encoder将[query, document]拼接输入Transformer,精度更高但无法预计算,适合对Top-20到Top-100的小候选集重排序。ms-marco-MiniLM-L-6-v2是6层结构,单次推理约几十毫秒,是生产环境中性价比高的重排序选择。
50%待验证Cross-Encoder将查询与候选代码片段拼接后一同输入,打分精度高于Bi-Encoder但计算开销更大,因此通常只对ANN召回的Top-K候选结果进行重排
50%待验证双塔模型可离线预计算文档向量并建立索引,检索速度快但编码阶段两段文本互不可见,无法建模细粒度词级交互
50%