合肥网站建设网站推广福田网站建设

利用 Paimon Schema Evolution 核心特性同步变更的 postgresql 表结构和数据

1、背景信息

在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式

• （1）人工消息通知，然后手动同步到数据仓库中
• （2）使用 flink 消费 DDL binlog ，然后自动更新 Hive 的外部表和内部表 schema
  那现在，有了 Paimon ，我们可以利用其特性，自动识别并同步 DDL 这些变化

2、软件版本

2.1、基础环境

Mac OS 10.15.6
Apache Hive 3.1.3
Apache Hadoop 3.1.0
Apache Flink 1.19.1
Apache Paimon 0.9.0
debezium 1.9.8(依赖 kafka 3.2.0)
Postgresql 14
mysql 8.0

2.2、flink 运行依赖第三方包

flink-connector-postgres-cdc-3.1.1.jar
flink-cdc-base-3.1