type
status
date
slug
summary
tags
category
icon
password
汇集钉钉群的一些问题：
有什么方式判定mysql的快照读阶段是否完成呢？
currentEmitEventTimeLag 指标记录的是 Source 发送一条记录到下游节点的时间点和该记录在 DB 里产生时间点差值，用于衡量数据从 DB 产生到离开 Source 节点的延迟。用户可以通过该指标判断 source 是否进入了 binlog 读取阶段：即当该指标为 0 时，代表还在全量历史读取阶段；当大于 0 时，则代表进入了 binlog 读取阶段。参考FLIP-33: Standardize Connector Metrics |
在我提交的flink-cdc-mysql的任务中，需要flink同步多张表的数据，但是我遇到了server-id重复的问题。我尝试过设置随机数，但是server-id有一定的取值范围，并且随机数还是有可能重复。官方文档建议我将server-id设置为一个范围，比如5400-6400，并且设置flink的并行度。这些我都做了，但是当我同步表的数量较多时，还是会出现server-id重复的问题导致任务提交失败。我需要如何设置才能如何避免这种错误
(1)可以检查下是不是其他作业或者同步工具使用了对应的server-id;
(2)server-id 可以尝试用机器IP+时间戳来生成，这样能尽可能避免冲 |
为什么需要data + changelog的合并呢，或者说为什么一致性是保持在高水位呢？
show master status获取low watermark跟select语句的执行时间是不一致的，所以低水位线是没有实现一致性的。将这段chunk保存到内存中进行changlog幂等重做，就能保证在高水位线一致了。 |
读取low watermark和select数据操作不是原子性的，中间碰巧发生gc和insert操作怎么办？
见上面的回答。 |
flinkcdc经常把Oracle连接数吃满，这个要怎么解决？ |