网站开发合同注意事项网站建设鸿儒

         文章末尾附有flinkcdc对应瀚高数据库flink-cdc-connector代码下载地址

1、业务需求

        目前项目有主数据系统和N个业务系统，为保障“一数一源”，各业务系统表涉及到主数据系统的字段都需用主数据系统表中的字段进行实时覆盖，这里以某个业务系统的一张表举例说明：业务系统表TableB字段col_b3与主数据系统表TableA中col_a3不一致，需要用col_a3实时覆盖col_b3生成目标表TableB_new中间表，业务系统存储为国产瀚高数据库，中间库用TIDB。

2、需求分析

         业务系统已上线多年，存在历史数据和新数据，需要分两个阶段进行处理。

        第一阶段，历史数据通过TableA、TableB联合关联生成中间表TableC，其中TableC中的主数据字段已用主数据进行了更新，再将TableC实时同步到瀚高数据库中生成一个新的业务表TableB_new(TableC和TableB_new表结构一致)；

        第二阶段，历史数据处理结束后，业务系统直接割接到新表TableB_new，后期新的业务数据用TableB_new与主数据表TableA关联，实时生成中间表TableC，再用FlinkCDC，实时同步TableC数据覆盖TableB_new主数据字段。

3、具体实现

        第一阶段流程图，历史数据处理，由TableA和Tabl