2019年12月17日
Tunning spark
摘要： Data Serialization 对spark程序来说，可能会产生的瓶颈包括：cpu，网络带宽，内存 在任何分布式应用中数据序列化都非常重要，数据序列化带来的作用是什么？第一减少内存占用，第二减小网络传输带宽消耗。spark提供了两种序列化方式： 1.Java serialization 默认情 阅读全文
posted @ 2019-12-17 14:10 sw_kong 阅读(303) 评论(0) 推荐(0) 编辑