2018年5月24日
spark官网学习
摘要： 1、foreachRDD设计模式 正确使用foreachRDD的方式，每一个分区创建一个单例connection对象。 2、并行机制 数据并行接收，以kafka为例，从多个topics接收数据。 数据并行处理 和spark.default.parallelism有关。 3、提交Jobs Driver 阅读全文
posted @ 2018-05-24 17:38 乡村骑士2 阅读(145) 评论(0) 推荐(0) 编辑