🗒️使用 canal 将 mysql 增量数据写入 kafka
2024-7-16
| 2024-7-16
0  |  阅读时长 0 分钟
type
status
date
slug
summary
tags
category
icon
password
测试了一下使用 canal 的流程,意外的简单流畅。

下载文件

需要提前安装好 java 环境。
下载 canal deployer 的压缩文件:
解压以后可以看到四个目录:

修改配置

需要修改两个配置文件。
  • conf/canal.properties
修改 canal.serverMode 为 kafka,默认是 tcp。
  • conf/example/instance.properties
没有的话,需要创建一下。
填入以下内容:

启动作业

执行 bin/startup.sh 文件就可以启动作业了。
查看 logs/canal/canal.log 日志,可以看到作业正常启动。
启动成功的日志:
这时候在源表进行变更操作,在 kafka 上可以看到对应的 json 输出。

踩坑

启动的时候遇到了下面的报错:
看起来是缺少包了,手动下载一个 druid-1.1.21.jar 文件,并上传到 lib 目录即可。
 
在 Flink 中自行触发 checkpoint自定义实现 Paimon Flink Sink
Loading...
目录