2022 年 4月 10 日随笔档案 - 巴啦啦小花总

2022年4月10日

摘要：因为sparkStreaming流程序是24小时不间断的运行，所以为了防止出现故障导致程序停止，sparkStreaming需要将足够的信息保存到容错存储系统中，以便于可以从故障中恢复。一、检查点有两种： 1、元数据检查点将定义流失计算的信息保存到容错存储系统中，如HDFS等。这可用于从运行流应阅读全文

posted @ 2022-04-10 15:10 巴啦啦小花总阅读(180) 评论(0) 推荐(0) 编辑