2017年10月2日
Yarn上常驻Spark-Streaming程序调优
摘要： 对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和Apache Spark都不是为了执行长时间运行的服务而设计的。但是，它们已经成功地满足了近实时数据处理作业的常驻需求。成功并不 阅读全文
posted @ 2017-10-02 10:23 MrMrCash 阅读(814) 评论(0) 推荐(0) 编辑