2019年12月16日
Flink生产数据到Kafka频繁出现事务失效导致任务重启
摘要： 在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE，kafka使用的版本为1.1.0，flink的版本为1.8.0，但是会很经常因为提交事务引起错误，甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。 查看kafka documentation和研究ProducerConfig这个类后发现 kafka producer 在使用EXACTLY_ONCE的时候需要增加一些配置 阅读全文
posted @ 2019-12-16 11:48 博而不客 阅读(10776) 评论(0) 推荐(0) 编辑