兰州城建设计院网站,岳阳网站建设的公司,个人博客排名,建筑公司会计做账及报税流程flume系列之：记录一次消费大量Debezium数据，数据包含dml语句比较大，造成数据堆积在channel的解决方法 一、背景二、相关技术博客三、flume层面解决方法四、debezium数据采集层面解决方法一、背景 Debezium采集了大量的数据，数据包含DMl语句，数据本身比较大。flume消费了大…
flume系列之：记录一次消费大量Debezium数据，数据包含dml语句比较大，造成数据堆积在channel的解决方法
- 一、背景
- 二、相关技术博客
- 三、flume层面解决方法
- 四、debezium数据采集层面解决方法
一、背景
- Debezium采集了大量的数据，数据包含DMl语句，数据本身比较大。
- flume消费了大量的Kafka Topic数据，数据堆积在了channel中，造成数据sink到HDFS的时间比较晚。
- 此时延迟检测指标org_apache_flume_channel_channel1_channelfillpercentage的数据比较大，达到了80以上。
- 现在需要快速消化完堆积的数据，保证数据的时效性
二、相关技术博客
