03 2019 档案

摘要:1. 介绍 Spark Streaming是Spark生态系统中一个重要的框架,建立在Spark Core之上,与Spark SQL、GraphX、MLib相并列。 Spark Streaming是Spark Core的扩展应用,具有可扩展性、高吞吐量、可容错性等特点。 可以监控来自Kafka、Fl 阅读全文
posted @ 2019-03-09 16:15 mengrennwpu 阅读(369) 评论(0) 推荐(0) 编辑
摘要:1. 自定义累加器 自定义累加器需要继承AccumulatorParam,实现addInPlace和zero方法。 例1:实现Long类型的累加器 例2:定义Set[String],可用于记录错误日志 2. AccumulableCollection使用 阅读全文
posted @ 2019-03-02 12:39 mengrennwpu 阅读(1998) 评论(0) 推荐(0) 编辑