Embedding
Embedding（嵌入）是一种将离散对象（如文本、图像、用户行为等）映射为低维连续向量空间中稠密向量的表示学习技术。其核心特征是语义相似的对象在向量空间中距离相近，从而使计算机能够捕捉对象间的语义关系。Embedding广泛应用于自然语言处理、推荐系统、信息检索等领域，是深度学习模型处理非数值型数据的基础方法。
核心事实
时间轴 (近 90 天)
过低的Embedding方差阈值可能将正常的聚焦思考误判为循环
LongGuard通过分析embedding的方差来识别语义震荡（LLM换措辞但本质卡在同一思维循环）
基于AI的自然语言搜索核心技术是Embedding(向量嵌入)，将文本转换为高维向量并在向量数据库中进行相似度搜索
Embedding模型的向量维度范围从768维到3072维不等，影响精度与存储成本的平衡
向量检索基于语义相似度而非精确匹配，导致语义相近但数值不同的内容（如1500亿美元与2500亿美元）在向量空间中距离很近，存在区分数值准确性的结构性盲区
当前主流Embedding模型在处理数字和精确数据时的表现明显弱于处理概念和语义
Embedding生成、重排序（Reranking）和信息抽取因模型小、调用频率极高、易将GPU填满，是自托管优先迁移的理想工作负载
现代RAG系统广泛采用向量检索技术，通过嵌入模型将文本转为高维向量并计算余弦相似度找到相关文档
嵌入层将离散的token映射到连续的向量空间
近义词归一化可通过Sentence-BERT等句嵌入模型将词语映射为稠密向量，再通过余弦相似度计算语义接近程度
还有 1 条时间轴事件
全部知识事实 (17)
混合检索（Hybrid Search）将向量检索与BM25关键词检索的结果通过RRF（倒数排名融合）等算法合并，兼顾语义理解与精确匹配
90%已验证RAG（检索增强生成）技术架构将文档切片、向量化、存入向量数据库，查询时先检索相关片段再交给模型生成回答
90%已验证向量数据库存储的是文本经过Embedding模型转换后的高维向量，通常为768或1536维
80%已验证Embedding模型通常将文本映射到768或1536维的高维向量空间
80%已验证Embedding是将文本转换为高维数值向量的过程，语义相近的文本在向量空间中距离更近
80%已验证向量数据库将文本内容通过嵌入模型（Embedding Model）转化为高维数值向量，检索时通过余弦相似度等算法找出语义最接近的内容
80%已验证语义搜索将文本转换为高维向量，通过计算余弦相似度找出最相关的结论，使得不同表述方式的查询也能命中语义相符的结果
65%待验证过低的Embedding方差阈值可能将正常的聚焦思考误判为循环
50%待验证LongGuard通过分析embedding的方差来识别语义震荡（LLM换措辞但本质卡在同一思维循环）
50%待验证基于AI的自然语言搜索核心技术是Embedding(向量嵌入)，将文本转换为高维向量并在向量数据库中进行相似度搜索
50%待验证Embedding模型的向量维度范围从768维到3072维不等，影响精度与存储成本的平衡
50%待验证向量检索基于语义相似度而非精确匹配，导致语义相近但数值不同的内容（如1500亿美元与2500亿美元）在向量空间中距离很近，存在区分数值准确性的结构性盲区
50%待验证当前主流Embedding模型在处理数字和精确数据时的表现明显弱于处理概念和语义
50%待验证Embedding生成、重排序（Reranking）和信息抽取因模型小、调用频率极高、易将GPU填满，是自托管优先迁移的理想工作负载
50%待验证现代RAG系统广泛采用向量检索技术，通过嵌入模型将文本转为高维向量并计算余弦相似度找到相关文档
50%待验证嵌入层将离散的token映射到连续的向量空间
50%待验证近义词归一化可通过Sentence-BERT等句嵌入模型将词语映射为稠密向量，再通过余弦相似度计算语义接近程度
50%