Spark 常用参数及调优

spark streaming 调优的几个角度：

• 高效地利用集群资源减少批数据的处理时间

• 设置正确的批容量（size），使数据的处理速度能够赶上数据的接收速度

• 内存调优

Spark SQL

可以通过调用 sqlContext.cacheTable("tableName")方法来缓存使用柱状格式的表。