2018年11月29日
spark 调优（官方文档）
摘要： 1.序列化 对象在进行网络传输或进行持久化时需要进行序列化，如果采用序列化慢或者消耗大量字节的序列化格式，则会拖慢计算。 spark 提供了两种序列化类库 1）. Java serialization 灵活，但是很慢 2） Kryo serialization 比java 快10倍，紧凑，不支持所有 阅读全文
posted @ 2018-11-29 00:02 生心无住 阅读(325) 评论(0) 推荐(0) 编辑