2017年6月30日
Spark Streaming性能调优
摘要： 数据接收并行度调优（一） 通过网络接收数据时（比如Kafka、Flume），会将数据反序列化，并存储在Spark的内存中。如果数据接收称为系统的瓶颈，那么可以考虑并行化数据接收。每一个输入DStream都会在某个Worker的Executor上启动一个Receiver，该Receiver接收一个数据 阅读全文
posted @ 2017-06-30 15:35 wq920 阅读(4703) 评论(0) 推荐(0) 编辑