Spark Streaming 调优指南

SparkStreaming是架构在SparkCore上的一个“应用”，SparkStreaming主要由DStreamGraph、Job的生成、数据的接收和导入以及容错四大模块组成，我们今天就从这四大模块入手，看看每个模块都有什么样的调优方式

1 DStreamGraph

其实这部分主要是算子的使用优化，这个跟Spark调优的内容是相同，在这一部分可以优化的内容有

• 重复使用的rdd进行cache
• 使用高性能的算子代替性能差的算子
  • reduceByKey\aggregateByKey代替groupByKey
  • 使用mappartition代替map
  • 使用foreachpartition代替foreach
• 使用Kryo序列化代替Java序列化
• filter之后使用coalesce减少小任务

2 Job的生成

这一部分主要涉及到的调优是batchInternal的调整，为了程序不延迟地执行，合理的batchInternal是必要的

3 数据的接收和导入

这一部分主要是针对数据的接受速度进行调优，如果接收速度大于处理数据，那么程序会走向无限延迟最后崩溃的道路,所以主要的调优在于限速

• 对于receiver和direct approach 方式都通用的
  spark.streaming.backpressure.enabled=true; sparkstreaming框架会自动地计算处理速度来控制数据的接受速度，建议开启

• receiver方式

  • spark.streaming.receiver.maxRate 来进行限速
  • spark.streaming.blockInternal 设置缓存在内存块的大小，防止内存被撑爆

• direct approach方式

  • spark.streaming.kafka.maxRatePartition来对每个分区进行限速

4 容错

主要是数据的容错方式选择

• 热备：默认开启数据备份数为2
• 冷备：开启WAL，将log保存到HDFS上，executor挂掉后可以从hdfs上进行数据的恢复
• 重放：对于数据源本身支持重放有效，如Kafka，失效后可以通过offset值进行恢复