FLINK --- 写HDFS
HADOOP都是使用StreamingFileSink,那么有什么区别?:
区别主要在写文件策略:
2.6及以前: OnCheckpointRollingPolicy
2.7: OnCheckpointRollingPolicy和 DefaultRollingPolicy
为什么2.7以前的版本不支持使用DefaultRollingPolicy?
OnCheckpointRollingPolicy:更新checkpoints时,新写文件
DefaultRollingPolicy:可设置写出策略:多长时间,多大内容,多长是时间间隔等!
重点: 当设置的策略跨越检查点时,需要中断文件;但是2.6是不支持中断的。
走着 走着 就近了,所以不要停止前行!
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步