Embedding模型
将文本、图像等非结构化数据转换为高维稠密向量的模型,用于捕捉语义信息,支持语义相似度计算和检索,是RAG系统的核心组件之一
核心事实
时间轴 (近 90 天)
Embedding模型与生成模型是两类不同的模型:前者输出固定维度向量,后者输出文本。
任何RAG系统无论多复杂,本质上都只有两个步骤:第一步填充图书馆(加载文档、切分chunk、Embedding、存入向量数据库),第二步检索信息(将用户问题转为向量、检索最接近的chunk、连同原问题交给LLM生成答案)。
在RAG系统中,建库和检索两个步骤必须使用同一个Embedding模型,否则两个模型对相似性的定义不同,向量空间无法对齐,检索结果会严重偏离。
Embedding模型把查询和文档映射到同一向量空间,用余弦相似度等度量匹配;当查询使用领域缩写、内部代号或与训练语料分布差异较大的措辞时,可能导致正确文档排到很后面甚至不出现在候选集中。
本文方案强调语言模型和向量模型都部署在本地,而非调用外部云端API
向量数据库构建的准备阶段需要把私有文档切分成较小片段,再经Embedding模型转换成向量后存入向量数据库
RAG检索流程中用户问题首先交给Embedding模型转换成向量,然后在向量数据库中做相似度计算取出最相关的前K个文档,再与原始提问拼接后交给大模型生成答案
不同嵌入模型输出的向量维度从768到3072不等,维度越高语义表达能力通常越强但存储计算开销越大
选型时需确认模型训练时使用的相似度目标函数与检索时使用的度量方式保持一致,否则会出现系统性偏差
Embedding 模型的核心作用是把一段纯文本内容转换成向量
还有 10 条时间轴事件
全部知识事实 (20)
Embedding模型通常将文本映射到768或1536维的高维向量空间
80%已验证嵌入模型将文本转化为固定维度的浮点数向量,使语义相近的内容在向量空间中距离更近,是RAG技术的核心底座
70%已验证RAG通过将文档切分为语义块后经嵌入模型转化为高维向量存入向量数据库,查询时通过近似最近邻(ANN)搜索找到语义最相近的文档片段
65%已验证文本经Embedding模型编码为768至3072维的浮点向量,存入向量数据库后通过近似最近邻算法(HNSW、IVF等)在毫秒级完成相似度检索
65%待验证Embedding 模型是将文本映射到连续向量空间的神经网络,其核心假设是语义相似的文本其向量距离也应相近
60%待验证将文档向量化与将用户问题向量化必须使用同一个向量模型,否则向量空间不兼容导致相似度计算失去意义
60%待验证Embedding模型与生成模型是两类不同的模型:前者输出固定维度向量,后者输出文本。
50%待验证任何RAG系统无论多复杂,本质上都只有两个步骤:第一步填充图书馆(加载文档、切分chunk、Embedding、存入向量数据库),第二步检索信息(将用户问题转为向量、检索最接近的chunk、连同原问题交给LLM生成答案)。
50%待验证在RAG系统中,建库和检索两个步骤必须使用同一个Embedding模型,否则两个模型对相似性的定义不同,向量空间无法对齐,检索结果会严重偏离。
50%待验证Embedding模型把查询和文档映射到同一向量空间,用余弦相似度等度量匹配;当查询使用领域缩写、内部代号或与训练语料分布差异较大的措辞时,可能导致正确文档排到很后面甚至不出现在候选集中。
50%待验证本文方案强调语言模型和向量模型都部署在本地,而非调用外部云端API
50%待验证向量数据库构建的准备阶段需要把私有文档切分成较小片段,再经Embedding模型转换成向量后存入向量数据库
50%待验证RAG检索流程中用户问题首先交给Embedding模型转换成向量,然后在向量数据库中做相似度计算取出最相关的前K个文档,再与原始提问拼接后交给大模型生成答案
50%待验证不同嵌入模型输出的向量维度从768到3072不等,维度越高语义表达能力通常越强但存储计算开销越大
50%待验证Embedding模型在RAG流程中出现两次:离线构建知识库时和在线检索时,目标都是把文本映射到同一个向量空间
50%待验证选型时需确认模型训练时使用的相似度目标函数与检索时使用的度量方式保持一致,否则会出现系统性偏差
50%待验证Embedding模型微调通常采用对比学习框架,通过构造正样本对和负样本对训练模型拉近正样本、推开负样本
50%待验证Embedding 模型的核心作用是把一段纯文本内容转换成向量
50%待验证Embedding 模型只负责文本转向量这一步,向量存储到哪个数据库是相对独立的工程选择
50%待验证Embedding 模型对结构化符号(如货币格式、编码字符串、ID序列)缺乏特殊理解,只是把这些内容当作普通 token 序列处理
50%