[控场AI]
· 4 分钟阅读· 2,196 字

LTAP架构:AI智能体如何打破事务与分析系统的数据壁垒

LTAP架构:AI智能体如何打破事务与分析系统的数据壁垒

LTAP通过在存储层同时维护行式与列式两种数据形态,消除OLTP与OLAP之间的系统割裂,为AI智能体提供统一数据视图。

长期以来,事务型系统(OLTP)与分析型系统(OLAP)因访问模式截然不同而被分别优化,中间依赖ETL管道定期搬运数据,导致分析侧存在固有的数据延迟。AI智能体的兴起打破了这一格局——智能体既需要毫秒级读取实时操作数据以采取行动,又需要调用历史聚合洞察来做决策,传统架构的时间鸿沟成为直接瓶颈。LTAP(Layered Transactional/Analytical Processing)应运而生,其核心思路是在存储层将同一份数据同时以行式(服务操作型访问)和列式(服务分析型访问)两种物理形态保存,各自的专用计算引擎保持不变,但二者不再操作两份需要跨系统搬运的数据拷贝。这一架构有望大幅压缩数据新鲜度延迟,降低ETL维护成本,并为大规模部署AI智能体提供统一、近实时的数据基础。

割裂了数十年的两类系统

长期以来,操作型系统(OLTP)与分析型系统(OLAP)一直被分别优化,这背后有着充分的技术理由。事务处理依赖快速的行式存储访问,每次操作往往只涉及少量记录,追求低延迟;而分析型工作负载则围绕列式存储进行优化,需要对海量数据做广泛扫描与聚合运算。

两种截然不同的访问模式,催生了两套彼此独立的技术栈。企业普遍采用ETL管道,把操作型数据库中的数据周期性地抽取、转换后加载到数据仓库中。这种分离在过去运转良好,但也带来了固有的延迟——分析侧看到的往往是几分钟、几小时甚至一天前的旧数据。

ETL(Extract-Transform-Load,抽取-转换-加载)管道是这种分离架构的核心纽带。典型的ETL流程通常按批次运行:每隔数小时或每天,将操作型数据库(如MySQL、PostgreSQL)中的变更数据抽取出来,经过清洗、格式转换后,加载进数据仓库(如Snowflake、BigQuery、Redshift)。这种设计在数据量可控、对实时性要求不高的时代行之有效,但其本质是用「数据搬运的周期性」换取「两套系统各自的性能最优」。随着业务对数据时效性的要求不断提高,出现了Kafka、Debezium等基于变更数据捕获(CDC)的近实时方案,试图缩短这条管道的延迟,但始终未能从根本上消除两套独立系统之间的结构性割裂。

AI智能体带来的新压力

真正改变这一格局的,是AI智能体的崛起。原始素材指出,AI agents 正在对这条横亘多年的边界施加压力。

智能体的工作方式与传统应用不同:它们既需要基于实时的操作型数据采取行动,又需要调用分析侧的历史数据与聚合洞察来做决策。举例来说,一个负责风控或个性化推荐的智能体,可能需要在毫秒级读取用户当前会话状态(操作型),同时结合该用户过去数月的行为画像(分析型)来给出判断。

当业务逻辑要求「即时行动」与「全局洞察」同时发生时,传统架构中那条ETL造成的时间鸿沟就成了瓶颈。数据从操作侧流向分析侧的延迟,直接限制了智能体决策的时效性与准确性。

LTAP:在存储层实现统一

为回应这种压力,一种被称为 LTAP 的架构思路应运而生。它的核心主张是:在存储层将操作型与分析型工作负载统一起来。

具体实现上,LTAP 采用分层存储设计:

  • 较热的层级(hotter tier):以行式格式保存数据,服务于操作型访问,保证事务的低延迟与快速点查。
  • 较冷的层级(cooler tier):以列式格式保存同一份数据,服务于分析型读取,支撑大规模扫描与聚合。

关键在于,专用的计算引擎可以独立处理各自的工作负载——行式引擎照旧处理事务,列式引擎照旧处理分析,二者互不干扰。数据会根据访问温度在两个层级之间流转,热数据以行格式驻留,随着时间推移逐渐沉降为列格式的冷数据。

HTAP(Hybrid Transactional/Analytical Processing,混合事务/分析处理)是LTAP之前最具代表性的融合尝试,TiDB、SingleStore等数据库是其典型实现。HTAP的思路是打造一个能同时处理两类负载的单一引擎,通过在同一系统内维护行存与列存的双重数据副本来兼顾两种访问模式。LTAP与之相比,核心差异在于关注点从「引擎融合」转向了「存储层统一」——它明确承认专用引擎在各自领域的不可替代性,选择在更底层的数据表示与存储组织上做文章,而不是强求一个引擎同时扮演两个角色。这种取舍在理论上能够更好地保留各引擎在极端负载下的性能上限,代价是需要在冷热层之间维护数据一致性的额外复杂度。

架构转变的本质

原文对这次架构转变的概括相当精炼:为每类任务保留其专用引擎,同时把同一份数据的操作型表示与分析型表示在底层聚合到一起。

这与常见的 HTAP(混合事务/分析处理)思路有相通之处,但 LTAP 的侧重点更明确地落在「存储层的统一」而非「引擎层的融合」。它不试图用一个万能引擎去同时应付两种截然相反的访问模式——那往往意味着两头都做不到极致——而是承认专用化的价值,只在数据存储与表示这一更底层的维度上消除割裂。

换句话说,上层依然是各司其职的专用计算,被改造的是它们脚下的地基:操作数据与分析数据不再是需要跨系统搬运的两份拷贝,而是同一份数据的两种物理形态。

对数据基础设施的意义

如果 LTAP 这类架构能够成熟落地,最直接的收益是大幅压缩数据新鲜度延迟。分析侧不再需要等待批处理管道,几乎可以读取到接近实时的操作数据;而操作侧也无需为分析查询让路,性能得以保全。

对于正在大规模部署 AI 智能体的团队而言,这意味着智能体可以在一个统一的数据视图上「既行动又思考」,而不必在两套系统之间来回拼接。数据工程的复杂度、ETL 管道的维护成本、以及数据不一致的风险,都有望随之下降。

当然,作为一个仍在演进中的架构理念,LTAP 在落地时还需回答诸多工程问题:数据在冷热层之间迁移的策略如何设定、跨层查询的一致性如何保证、以及在真实负载下能否兑现「两头都好」的承诺。但它所指向的方向——让基础设施主动适配 AI 时代的数据访问需求,而非让 AI 迁就旧有的系统边界——无疑值得持续关注。

分享:

相关推荐