产品按需状态重分区
On-Demand State Repartitioning
Databricks推出的针对Apache Spark Structured Streaming的运行时功能，允许用户在不重建Checkpoint的情况下动态调整有状态流查询的状态分区数
时间轴 (近 90 天)
9月14日
Databricks推出了On-Demand State Repartitioning（按需状态重分区）功能，允许在不重建Checkpoint、不丢失现有状态的前提下动态调整有状态流查询的状态分区数
待验证50%
9月14日
按需状态重分区的实现通常引入一个重分区微批次，在该批次内对State Store中的全量Key进行Shuffle重路由，同时保证原子性
待验证50%
9月14日
触发重分区会带来该批次延迟的短暂升高，运维团队需要预留相应的处理窗口
待验证50%
9月14日
按需状态重分区使团队可以先以合理的初始值上线，再根据真实运行数据逐步优化分区配置，把容量规划从一次到位转向持续调整
待验证50%