向量索引
存储向量嵌入并支持相似性检索的数据结构,在RAG系统中用于存储文档嵌入及元数据,查询时通过元数据过滤实现访问控制
核心事实
时间轴 (近 90 天)
撤销权限时,企业往往只删除源文档的访问凭证,却把向量索引留在库里;下线清算需要评估是否从索引中移除对应向量并触发索引重建。
数十年技术债、脆弱的代码依赖关系和僵硬的关系型数据库,使遗留系统在支撑实时数据摄入、向量索引和低延迟API交互时力不从心。
手动删除模型权重或向量索引会导致工具下次启动时重新下载或重建,耗时且可能产生流量费用。
智能体检索知识通常依赖向量索引或关键词索引,被索引的文本质量直接决定召回结果。
向量索引本质上是文档的一份副本,需要与数据源保持同步,更换embedding模型时需要重建整个索引,且必须执行与原系统相同的访问权限控制。
在RAG助手中,向量索引可能绕过原始系统的权限校验,导致无权用户通过语义检索静默获取敏感文档,若涉及个人数据还可能构成合规问题。
引入向量索引会增加维护负担:副本必须和源数据保持同步;嵌入模型更换时需要重建整个索引;副本必须执行和原系统完全一致的访问权限。
向量索引作为独立存储系统,其访问控制与原系统相互独立,容易出现原应用已限制访问但助手仍能召回文档的静默泄漏,修复方式包括检索后权限校验或将权限元数据同步写入向量库并强制过滤。
向量索引本身不是事实来源,而是派生视图,原始记录必须保存在可审计的存储中,以便在索引损坏或迁移时重建。
实践上要求在企业数据湖到RAG的管道中做明确切分:向量索引对身份保持无知,保留一个轻薄、快速、同步的授权层对每个检索请求直接查询治理系统,范围限定在向量搜索返回的候选文档上,并单独配备监控和告警。
还有 4 条时间轴事件
全部知识事实 (16)
AI模型性能与数据投喂量正相关,企业为获得更精准的AI输出需不断输入业务细节
90%待验证撤销权限时,企业往往只删除源文档的访问凭证,却把向量索引留在库里;下线清算需要评估是否从索引中移除对应向量并触发索引重建。
50%待验证数十年技术债、脆弱的代码依赖关系和僵硬的关系型数据库,使遗留系统在支撑实时数据摄入、向量索引和低延迟API交互时力不从心。
50%待验证手动删除模型权重或向量索引会导致工具下次启动时重新下载或重建,耗时且可能产生流量费用。
50%待验证智能体检索知识通常依赖向量索引或关键词索引,被索引的文本质量直接决定召回结果。
50%待验证在RAG助手中,向量索引可能绕过原始系统的权限校验,导致无权用户通过语义检索静默获取敏感文档,若涉及个人数据还可能构成合规问题。
50%待验证向量索引本质上是文档的一份副本,需要与数据源保持同步,更换embedding模型时需要重建整个索引,且必须执行与原系统相同的访问权限控制。
50%待验证向量索引作为独立存储系统,其访问控制与原系统相互独立,容易出现原应用已限制访问但助手仍能召回文档的静默泄漏,修复方式包括检索后权限校验或将权限元数据同步写入向量库并强制过滤。
50%待验证引入向量索引会增加维护负担:副本必须和源数据保持同步;嵌入模型更换时需要重建整个索引;副本必须执行和原系统完全一致的访问权限。
50%待验证向量索引本身不是事实来源,而是派生视图,原始记录必须保存在可审计的存储中,以便在索引损坏或迁移时重建。
50%待验证大多数企业RAG系统在嵌入阶段就把访问控制烘焙进向量索引,将权限当作内容新鲜度处理,导致撤销的访问权限仍能通过检索返回结果,形成安全滞后窗口。
50%待验证将权限反规范化进向量索引继承了缓存授权数据的所有弱点:正确直到不再正确,并且没有任何机制告诉你它什么时候开始失效。
50%待验证实践上要求在企业数据湖到RAG的管道中做明确切分:向量索引对身份保持无知,保留一个轻薄、快速、同步的授权层对每个检索请求直接查询治理系统,范围限定在向量搜索返回的候选文档上,并单独配备监控和告警。
50%待验证向量索引若不能增量更新,会迅速与持续变化的代码库脱节,导致搜索结果过时
50%待验证本地向量索引技术通过嵌入模型将文本转化为语义向量存入本地数据库,使语义检索完全在本机完成,无需将原始文本发送至云端
50%待验证向量数据库通过嵌入模型将非结构化数据转化为高维向量,并通过近似最近邻算法(如HNSW、IVF)实现语义相似度检索
50%