[控场AI]
· 5 分钟阅读· 2,708 字

对象存储跑Postgres:缓存如何扭转性能困局

对象存储跑Postgres:缓存如何扭转性能困局

把 Postgres 建在对象存储上、用缓存承接读请求,代价从读延迟转移到架构复杂度与持久化窗口。

文章回应了“别把 Postgres 放在对象存储上”这一经典反对意见。反对意见的合理内核在于对象存储的高延迟与对象级写入粒度,与 Postgres 对 WAL 顺序追加、数据页随机读、检查点刷盘的假设不匹配,而非容量或可靠性问题。文章指出,“served from cache”的核心是把缓存放到架构首要位置:对象存储负责持久化与容量扩展,缓存承接服务路径上的低延迟读取,从而把高延迟限制在冷路径。此时缓存命中率取代磁盘 IOPS 成为核心性能指标。写入路径才是真正难点,WAL 追加与对象写入的语义冲突需要分批聚合或近端中间层承接,检查点节奏也需重新设计。这套架构适合冷热分层明显、可接受异步持久化窗口的负载,而非通用方案。

一个被反复引用的反对理由

“别把 Postgres 放在对象存储上。”这是数据库圈子里流传甚广的一条经验法则。理由听起来也足够充分:Postgres 的存储引擎是为本地块设备设计的,它假设自己面对的是低延迟、可随机覆盖写的磁盘。而对象存储提供的是高延迟、以对象为单位的读写接口,两者的假设几乎完全对不上。

但这条经验法则正在被重新审视。近期一篇讨论“Built on object storage, served from cache”的技术文章,正面回应了这个经典质疑:如果把架构建立在对象存储之上,同时用缓存来承接服务端的读请求,Postgres 的存储假设能否被重新满足?这个问题的答案,比简单的“能”或“不能”更有意思。

rss source: Built on object storage, served from cache

反对意见的合理内核

要理解缓存方案为什么可能奏效,先得承认反对意见并不是无的放矢。Postgres 在运行时会频繁依赖几类存储行为:预写日志(WAL)的顺序追加、数据页的随机读取、以及在检查点(checkpoint)时把脏页刷回磁盘。其中 WAL 的追加写与对象存储的“整对象写入”语义存在天然摩擦,而随机读取则直接受制于对象存储较高的首次访问延迟。

换句话说,问题不在于对象存储容量不够或可靠性不足——它在这两方面通常表现优秀——而在于延迟特性和写入粒度与数据库引擎的预期不匹配。任何基于对象存储的数据库方案,都必须回答“如何消化这些不匹配”这个问题。

预写日志(WAL) 是 Postgres 保证数据持久性与崩溃恢复的核心机制。任何数据修改在写入数据文件之前,必须先以追加方式写入 WAL 日志。WAL 的设计假设是顺序、低延迟的追加写——本地磁盘或 SSD 能高效支持这种模式。而对象存储只支持“整对象上传/覆盖”,无法在对象尾部追加字节,因此把 WAL 直接放到对象存储上会导致每次日志写入都变成一次完整对象操作,写放大和延迟都不可接受。这也是为什么基于对象存储的方案通常需要把 WAL 先写入低延迟中间层,再批量聚合成对象持久化。

检查点(checkpoint) 是 Postgres 周期性把内存中的脏页刷回磁盘、并推进 WAL 回收点的机制。它的目的是限制崩溃恢复时需要重放的 WAL 长度,从而控制恢复时间。检查点频率越高,恢复越快,但刷盘开销越大;频率越低,刷盘批量更大、更高效,但崩溃后需要重放的 WAL 链更长。在对象存储上,小批量频繁刷盘代价高昂,因此检查点节奏必须重新设计,这直接影响了恢复时间目标(RTO)的设定。

缓存作为架构的第一性选择

文章标题里的“served from cache”点出了核心思路:对象存储承担持久化与容量扩展的角色,缓存层承担服务路径上的低延迟读取。这不是把缓存当作可有可无的加速插件,而是把它放到架构的首要位置——服务端读到的大部分数据应当来自缓存,而不是每次都穿透到对象存储。

这种分工带来的直接好处是,数据库引擎在热路径上看到的延迟特征更接近本地或内存语义,对象存储的高延迟被限制在冷数据读取、缓存未命中以及后台刷盘等相对不敏感的路径上。持久化和性能因此被解耦成两个可以独立演进的问题。

缓存命中率成为真正的性能指标

在传统本地盘部署中,性能往往由磁盘 IOPS 和带宽决定;而在这类架构里,缓存命中率上升为核心指标。命中率高时,读请求几乎不触碰对象存储,系统表现接近内存数据库;命中率下降时,延迟会向对象存储的基线靠拢。这意味着容量规划与缓存容量规划必须一起做,而不是事后补一层缓存了事。

缓存命中率 指读请求在缓存层直接得到满足、无需穿透到后端存储的比例。在这个架构中,它之所以取代 IOPS 成为核心指标,是因为缓存未命中的代价不再是本地磁盘的一次寻道,而是对象存储的一次高延迟往返(通常在几十到数百毫秒量级)。命中率从 99% 降到 95%,看似只差几个百分点,但穿透请求量会放大数倍,尾延迟(p99)会显著恶化。因此容量规划必须同时考虑数据总量与缓存容量之比,以及访问的冷热分布——如果负载访问模式高度均匀,缓存难以区分冷热,命中率就上不去,这套架构的收益会大打折扣。

写入路径才是难点

相比读路径,写入的挑战更难被缓存掩盖。WAL 需要顺序追加,而对象存储的写入是对象级别的——你不能像操作本地文件那样在尾部追加字节。常见的应对方式包括将 WAL 分批聚合成对象写入,或把写入先落到一个低延迟的中间层再异步上传。文章讨论的方向同样指向这种分层:写入先由近端组件承接,持久化异步完成。

这类设计带来的权衡很明确:持久化不再是同步完成的,系统需要在吞吐、延迟与持久性之间重新划线。对于能接受一定持久化窗口的业务,这完全可行;对持久性要求极高的场景,则需要更谨慎地评估中间层的可靠性设计。

检查点与刷盘节奏需要重新设计

检查点机制原本是为了限制崩溃恢复时间,但在对象存储上,频繁的小批量刷盘代价高昂。因此后台刷盘更倾向于更大粒度的批量写入,这会拉长两次持久化之间的窗口,也意味着崩溃恢复需要依赖更长的 WAL 链。这是一个必须在设计阶段就明确取舍的点,而不是靠调参能绕过去的细节。

这套架构适合谁

从文章的思路可以推断出目标场景的轮廓:数据规模需要超出单机本地盘的承载能力、读写负载存在明显冷热分层、并且业务能够接受异步持久化带来的短暂窗口。在这类场景中,对象存储的弹性容量与成本优势,配合缓存带来的低延迟服务路径,整体收益相当可观。

反过来,对于写入密集、持久性零容忍、或访问模式高度均匀(缓存难以区分冷热)的负载,这套架构的复杂度可能大于收益。把它当作通用方案推广,反而是对文章原意的一种误读。

结语:争论的焦点已经转移

围绕“Postgres 能不能跑在对象存储上”的争论,真正的分歧点其实不在可行性,而在代价由谁承担。缓存方案把代价从“每条读请求的高延迟”转移到了“架构复杂度与持久化窗口”上——前者影响用户体验,后者影响工程与运维。理解了这笔交易的具体条款,才能判断它是否值得为你的业务签下。

rss source: Built on object storage, served from cache

#对象存储#Postgres#缓存架构#WAL写入#数据库存储#缓存命中率#持久化
分享:

相关推荐