🗒️在 Flink 中自行触发 checkpoint
2024-7-18
| 2024-7-18
0  |  阅读时长 0 分钟
type
status
date
slug
summary
tags
category
icon
password
Flink 的 checkpoint 机制会在每个 Task 执行过程中周期性地触发,默认情况下是每隔固定时间(例如60秒)进行一次 checkpoint。
在某些特殊的场景下,我们希望能够在正常的 checkpoint 间隔之外自行触发 checkpoint 来实现特定的控制逻辑,一直以来这都不太好实现。
在 Flink 1.19 的 FLIP-309 改动之后,这件事情变得可行了。在OperatorCoordinatoroperatorCoordinatorContext 成员变量中提供了获取 CheckpointCoordinator 的方法。
我们在 OperatorCoordinator 上能够调用触发 checkpoint 的方法。具体来说,需要执行下面的代码即可触发。由于 OperatorCoordinator 本身也需要保存状态,因此这个操作不能设置成同步执行的状态。
FLIP 309: 在处理堆积数据时支持设置更大的 checkpoint 间隔使用 canal 将 mysql 增量数据写入 kafka
Loading...
目录