Lakegres:在现有开放表格式上实现向量搜索

Lakegres 试图在 Hudi、Iceberg 等开放表格式上直接提供向量搜索,省去数据搬运。
Lakegres 是一个在 Hacker News 上发布的早期项目,主张不迁移数据,直接在 Open Table Format、Hudi、Iceberg 等开放湖仓表之上提供向量检索能力。文章指出,当前 RAG 流水线普遍需要把数据从数据湖搬运到专用向量数据库,带来数据副本、同步链路与一致性窗口等隐性成本。Lakegres 将向量视为表中的普通列,复用湖仓元数据与文件布局构建索引,定位更接近查询层而非存储层,因而在混合检索和索引重建灵活性上有优势。但它难以替代专用向量库在高并发低延迟场景的工程积累,且项目仍处早期,索引构建方式与性能指标尚未公开。
数据湖表格式(Open Table Format)正在成为现代数据架构的默认选择,Hudi、Iceberg 和 Delta 等开放标准让海量数据可以脱离特定计算引擎独立存在。但一个长期被忽视的问题是:当 AI 应用需要向量检索时,这些存放在数据湖里的数据往往要经过一次额外搬运,才能进入专用的向量数据库。
Lakegres 试图解决这一断层。该项目在 Hacker News 上以「Vector search on existing Open/Hudi/Iceberg tables」为题发布,核心主张很直接——不迁移数据,直接在已有的开放表格式之上提供向量搜索能力。
为什么数据湖需要原生向量搜索
向量数据库的「数据搬运税」
当前主流的 RAG 与语义检索方案,基本遵循同一条流水线:原始数据写入数据湖或对象存储,再由 ETL 任务清洗、切分、调用嵌入模型生成向量,最后写入专用向量数据库。这套流程能用,但代价清晰可见:多一份数据副本、多一条需要维护的同步链路,以及湖仓与向量库之间不可避免的一致性窗口。
对于已经在 Hudi、Iceberg 上构建了数据治理体系的企业来说,新增一个向量数据库意味着数据血缘、权限控制和审计边界都要重新画一遍。Lakegres 的切入点正是这部分隐性成本。
开放表格式(Open Table Format) 指的是 Iceberg、Hudi、Delta Lake 这类以开放规范定义的表层抽象,它们在数据文件(通常是 Parquet/ORC)之上维护元数据,记录文件清单、分区结构、快照(snapshot)与提交日志(commit log)。正是这层元数据让 Spark、Trino、Flink 等不同引擎能识别同一张表的一致视图,并支持时间旅行(time travel)与增量读取。因此,当新的查询能力(例如向量检索)想接入时,原则上只需读懂这层元数据与文件布局即可定位数据文件,而不必拷贝底层数据——这正是 Lakegres 这类方案的可行性基础。理解这一点,有助于判断其能力边界:向量索引构建速度快慢,很大程度上取决于它能否高效消费快照与文件清单,而非仅依赖暴力扫描。
把向量当作表的一部分
Lakegres 的设计思路是让向量成为开放表格式中的普通列,而不是另一套独立存储。这样一来,向量检索与结构化过滤可以在同一张表的同一份数据上完成,避免了跨系统查询时的结果拼装问题。对于需要「先按业务字段过滤、再做相似度排序」的混合检索场景,这种原生位置优势比较明显。
混合检索(Hybrid Search) 是指在一次查询中同时施加结构化条件(如租户 ID、时间范围、状态字段)与向量相似度排序,通常还伴随关键词检索,再对多路结果做融合或重排。在分离架构下,这类查询往往需要先向数据湖发起过滤、拿到候选主键,再向向量库发起近邻搜索,最后在应用层求交集或合并,链路长且受一致性窗口影响。若向量以普通列的形式与业务字段同表存放,过滤与近邻排序可以在同一份数据上执行,优化器有机会先裁剪分区和文件、再在候选集合上计算距离,减少无效计算与跨系统往返。这也是「向量作为表的一部分」相比独立向量库在分析型场景下的主要收益来源。
Lakegres 的技术路径与定位
复用湖仓元数据而非重建索引
从项目标题透露的信息看,Lakegres 的关键在于直接读取 Open/Hudi/Iceberg 表的元数据与文件布局,在此基础上构建向量索引。这意味着它更接近一个「查询层」而非「存储层」——数据仍然由原有的湖仓生态管理,Lakegres 负责在检索时提供向量能力。
这种分层设计的好处是可逆性较强:向量索引失效或需要更换嵌入模型时,底层数据不受影响,重建索引的成本局限在检索层内部。相比把向量固化写进独立数据库,灵活性更高。
向量索引 的常见形态包括 HNSW、IVF-PQ 等近似最近邻(ANN)结构,它们通常需要在内存或本地磁盘上构建图或聚类中心,以牺牲少量召回率换取数量级更低的查询延迟。把这类索引放在对象存储之上会面临明显约束:对象存储以高吞吐、高延迟、按请求计费为特征,缺乏随机读优化,索引结构难以像本地 SSD 那样被频繁随机访问。因此,在湖仓文件之上实现向量检索通常需要额外的缓存层、索引外置(把索引放在计算节点本地或独立缓存服务)或分区级粗过滤策略。这也解释了为什么此类方案更适合中等查询频率、可容忍较高 P99 延迟的场景,而对高并发低延迟负载仍需谨慎评估。
与专用向量库的边界
需要客观看待的是,Lakegres 这类方案并不能全面替代专用向量数据库。专用向量库在高并发、低延迟检索以及大规模索引的工程优化上积累深厚,而直接查询湖仓文件天然会受制于对象存储的 IO 特性。Lakegres 更适合的场景,是数据本身已经在湖上、查询频率中等、且不希望引入额外数据副本的分析型或内部 AI 应用。
Hacker News 上该帖的讨论热度(9 分、2 条评论)表明它仍处于早期关注阶段,社区对其实际性能表现和索引构建方式仍有待验证。
对 AI 数据栈的启示
「不搬数据」正在成为共识方向
Lakegres 反映出一个更宏观的趋势:AI 数据栈正在从「为每种负载建一个专用库」转向「在统一存储上叠加多种查询能力」。向量检索过去被视为必须独立建库的负载,现在开始被当作湖仓能力的一部分来对待。这与数据库领域长期以来的「避免不必要的数据移动」原则一脉相承。
开放表格式的价值再次放大
Hudi、Iceberg 这类开放格式最初解决的是计算引擎锁定问题,让 Spark、Trino、Flink 等可以共享同一份数据。当向量搜索也接入这一层,开放表格式就变成了 AI 应用的数据底座——数据只写一次,多种负载各自读取。对已经重仓湖仓架构的团队而言,这条演进路径的迁移成本显著低于另起炉灶搭建向量数据库。
当然,Lakegres 目前披露的信息有限,索引构建策略、查询延迟、对增量写入的支持程度等关键问题都还没有公开数据支撑。它值得关注,但暂时更适合作为架构选型时的一个备选方向来评估,而非立即可用的生产方案。
常见问题
Lakegres 支持哪些表格式? 从项目标题看,覆盖 Open Table Format 以及 Hudi、Iceberg,属于面向开放湖仓格式的向量检索方案。
它和专用向量数据库是什么关系? 定位更偏向湖仓之上的查询层,适合不想搬运数据的场景;专用向量库在高并发低延迟场景仍有优势,两者更可能是互补而非替代。
现在可以用于生产吗? 项目仍处早期,社区讨论量小,关键性能指标未公开,建议作为技术方向跟踪。
相关推荐

Zed编辑器发布v1.29.2:一次常规版本迭代的观察
Zed编辑器发布v1.29.2补丁版本,由@JosephTLyons完成版本升级,提交经GitHub签名验证。本文梳理该版本的基本信息、补丁版本的含义以及对用户升级的实际建议。

Anthropic IPO遭质疑:Hacker News热议其上市时机
Hacker News出现「Just say no to Anthropic's IPO」帖子,引发对Anthropic上市时机与AI公司资本化的讨论,涉及估值泡沫与使命独立性等议题。

Genie 4世界模型上手:像木偶师一样实时导演世界
Google DeepMind 世界模型 Genie 4 深度解析:Special Guest X 实测展示如何用提示词实时导演场景、通过 Project Genie 构建自定义交互应用,以及提示词即种子的可复现设计。