🗒️Hudi|CDC实现分析
2023-5-26
| 2023-8-14
0  |  阅读时长 0 分钟
type
status
date
slug
summary
tags
category
icon
password
原理部分参考这篇博客
入口:
可知,开启参数有两个要求:
hoodie.datasource.query.type="incremental" 并且hoodie.datasource.query.incremental.format="cdc"
 
 
HoodieMergeHandleFactory在开启cdc时创建HoodieMergeHandleWithChangeLog,需要设置参数"hoodie.table.cdc.enabled"为true。
HoodieMergeHandleWithChangeLog 初始化时会创建一个HoodieCDCLogger对象。
在update和insert数据时写入变更数据,在insert数据的情况下,oldRecord写入null。
HoodieCDCLogger 通过比较oldRecord和newRecord判断这条数据的操作类型,这里写入的是recordKey和完整的record数据。
 
  • Hudi
  • Hudi|数据质量校验Java|volatile关键字
    Loading...
    目录