2015 年 8月 20 日随笔档案 - bendantuohai

2015年8月20日

摘要： Hadoop0.20.2 Bloom filter应用示例2014-06-04 11:55451人阅读评论(0)收藏举报1. 简介参见《Hadoop in Action》P102 以及《Hadoop实战（第2版）》（陆嘉恒）P69 2. 案例网上大部分的说明仅仅是按照《Hadoo... 阅读全文

posted @ 2015-08-20 12:15 bendantuohai 阅读(708) 评论(0) 推荐(0) 编辑

hadoop对于压缩文件的支持及算法优缺点

摘要： hadoop对于压缩文件的支持及算法优缺点 hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们将压缩的文件解压，而不用我们去关心。如果我们压缩的文件有相应压缩格式的扩展名(比如lzo，gz，bzip2等)，hadoop就会根据扩展名... 阅读全文

posted @ 2015-08-20 10:03 bendantuohai 阅读(3222) 评论(0) 推荐(0) 编辑