摘要:
spark streaming 调优的几个角度: 高效地利用集群资源减少批数据的处理时间 设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度 内存调优 设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度 Spark SQL 可以通过调用 sqlContext.ca 阅读全文
摘要:
spark streaming 调优的几个角度: 高效地利用集群资源减少批数据的处理时间 设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度 内存调优 设置正确的批容量(size),使数据的处理速度能够赶上数据的接收速度 Spark SQL 可以通过调用 sqlContext.ca 阅读全文
|