随笔分类 -  Flink

Flink 配置HADOOP_CLASSPATH 影响Hive的日志打印问题
摘要：由于Flink on Yarn的部署需要hadoop的依赖： 比较常见的解决方式会将hadoop calsspath放在Linux的系统环境变量下，但是这里会影响Hive的日志级别，导致Hive打印过多的INFO日志。 解决方案有两种： 1. 将hadoop classpath加入到fink的局部配 阅读全文
posted @ 2022-11-20 11:36 Avery_rainys 阅读(1009) 评论(0) 推荐(0) 编辑
Flink水印的传播规律
摘要：如果算子之间的分区规则是forward(One-to-One)，则watermark也采取forward的方式传播。 如果算子之间的分区规则是hash，则采用广播的方式传播，其他的重新分区的算子应该也类似。 在watermark广播的策略下，下游所有的事件时钟都会相等。 阅读全文
posted @ 2022-11-02 23:23 Avery_rainys 阅读(47) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示