2015年11月3日
在Spark程序中使用压缩
摘要： 当大片连续区域进行数据存储并且存储区域中数据重复性高的状况下，数据适合进行压缩。数组或者对象序列化后的数据块可以考虑压缩。所以序列化后的数据可以压缩，使数据紧缩，减少空间开销。1. Spark对压缩方式的选择 压缩采用了两种算法：Snappy和LZF，底层分别采用了两个第三方库实现，同时可以自... 阅读全文
posted @ 2015-11-03 21:46 ~风轻云淡~ 阅读(3427) 评论(0) 推荐(0) 编辑