2018年9月20日
SparkStreaming HA高可用性
摘要： 1、UpdateStateByKey、windows等有状态的操作时，自动进行checkpoint,必须设置checkpoint目录，数据保留一份在容错的文件系统中，一旦内存中的数据丢失，可以从文件系统中读取数据，不需要重新计算。 SparkStreaming.checkpoint("hdfs:// 阅读全文
posted @ 2018-09-20 23:34 Runner_Jack 阅读(1787) 评论(0) 推荐(0) 编辑