type
status
date
slug
summary
tags
category
icon
password
流程
FlinkCDC3.0 当前 Event 的处理流程如下：
- Source
包含全量读取和增量读取两个阶段，生成 SchemaChangeEvent 和 DataChangeEvent。
- Transform
负责对表结构和数据进行修改。比如生成计算列，过滤数据等。但是目前还没有实现。
- Route
负责将原来的表映射到另外的表中，在整库同步、修改表名等场景非常实用。
- Schema
在发生表结构变更的时候，负责阻塞上游数据的下发，直到下游都把之前的数据写入完成。
- Partition
允许 Source 跟 Sink 使用不同的并发，从而提高数据处理速度。
- Sink
负责将数据输出到下游表中。
代码
处理的代码在
FlinkPipelineComposer 这个类中。