向量数据库
向量数据库是一种专门用于存储和检索高维向量数据的数据库系统。它能够将文本、图像、音频等非结构化数据的嵌入表示(Embedding)进行持久化存储,并基于向量间的余弦相似度、欧氏距离等度量方式支持近似最近邻(ANN)搜索。向量数据库广泛应用于语义搜索、推荐系统、图像检索及大语言模型增强检索等领域。
核心事实
时间轴 (近 90 天)
当前主流的 RAG 与语义检索方案通常需要将数据从数据湖搬运到专用向量数据库,产生额外数据副本、同步链路和维护成本。
向量数据库擅长语义搜索,但对于监控哪些帖子已扫描、哪些已回复、哪些待审批等结构化状态,表格更直观、更易调试。
传统的向量数据库擅长语义检索,但难以表达实体之间的复杂关系;关系型数据库结构 rigid,不适合动态演化的知识图谱。
向量数据库通常只保留最新状态,旧值被覆盖后无法追溯,无法区分事实本身变化与认知滞后。
不同嵌入模型产生的向量维度不同,切换模型意味着已有向量库需要重建。
在多数向量库的过滤语义中,缺失权限元数据字段的向量块不会被查询过滤器排除,可能被默认放行或暴露。
向量数据库的查询接口面向扁平元数据过滤,而非图遍历;即使元数据中记录了 source_documents 列表,查询时也无法递归展开这些 ID 再查其 ACL,除非应用层多次往返查询或预先展平写入。
后台代理在将合成内容写回向量数据库时,可能丢失源文档的访问控制列表(ACL),导致无权限标签的块被普通用户检索到,从而引发授权漏洞。
向量数据库的查询流程通常是先进行近似最近邻(ANN)搜索,再对候选结果按元数据条件过滤,权限判断发生在检索之后、返回之前。
目前主流向量数据库对祖先权限遍历的支持有限,团队可能需要在应用层自行实现权限解析。
还有 40 条时间轴事件
全部知识事实 (20)
RAG(检索增强生成)技术架构将文档切片、向量化、存入向量数据库,查询时先检索相关片段再交给模型生成回答
90%已验证Agent的记忆机制通常分为短期记忆和长期记忆两大类,长期记忆需借助向量数据库、关系型数据库、图数据库等外部持久化存储
80%已验证AI Agent的运行依赖大语言模型API、向量数据库、工具调用接口、第三方SDK及各种快速迭代的框架,运行链条极长
80%已验证向量数据库如FAISS、Chroma、Weaviate通过将文本编码为高维向量建立索引,能毫秒级完成语义相似度检索
80%已验证检索增强生成(RAG)通过向量数据库将代码库切分为语义片段,在 AI 处理具体任务时动态检索最相关的内容注入上下文
80%已验证向量记忆数据库将历史对话内容转化为高维语义向量,在新对话时以相似度检索方式动态召回相关记忆片段并注入上下文窗口
80%已验证RAG通过将私有文档切分为文本块、转化为向量表示并存储在向量数据库中,检索相关内容注入Prompt来解决大模型知识截止日期的局限性
80%已验证RAG(检索增强生成)的核心思想是在大模型生成回答之前,先从外部知识库中检索相关文档片段作为上下文注入Prompt
80%已验证Agent的记忆系统通常分为三个层次:工作记忆(当前对话上下文窗口)、短期记忆(近期交互历史)和长期记忆(通过向量数据库持久化存储)
80%已验证向量数据库存储的是文本经过Embedding模型转换后的高维向量,通常为768或1536维
80%已验证向量数据库(如ChromaDB、Milvus、Pinecone)采用HNSW、IVF等索引算法,能在百万甚至亿级向量中实现毫秒级检索
80%已验证常见的向量数据库包括ChromaDB、Milvus、Pinecone、Weaviate,它们针对高维向量的近似最近邻(ANN)搜索进行了专门优化
80%已验证AI Agent的长期记忆持久化通常需要用到向量数据库(VectorDB),将聊天记录和个人偏好通过序列化技术变成向量编码存储
80%已验证pgvector扩展为PostgreSQL添加了向量存储和相似度搜索能力,使Supabase可以同时充当传统数据库和向量数据库
80%已验证向量数据库(如Pinecone、Weaviate、Milvus等)通过嵌入模型将文本转化为高维向量,使用余弦相似度或欧氏距离进行近似最近邻(ANN)搜索
80%已验证Embedding是将文本转换为高维数值向量的过程,语义相近的文本在向量空间中距离更近
80%已验证长期记忆Agent通常基于RAG(检索增强生成)技术构建,通过向量数据库将信息转化为高维向量并持久化存储
80%已验证长期记忆通常借助向量数据库(如Chroma、Pinecone、Weaviate、Milvus等)来实现语义检索
80%已验证企业级Agent系统通常会引入外部记忆模块(如向量数据库)来存储长期记忆,以突破上下文窗口限制
80%已验证向量数据库通过余弦相似度或欧氏距离实现语义级别的模糊检索
80%