随笔分类 - Hadoop

Hadoop集群WordCount运行详解（转）

摘要：原文链接：Hadoop集群（第6期）_WordCount运行详解 1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，阅读全文

posted @ 2016-04-26 21:50 ~风轻云淡~ 阅读(3968) 评论(0) 推荐(1) 编辑

开启hadoop和Hbase集群的lzo压缩功能（转）

摘要：原文链接：开启hadoop和Hbase集群的lzo压缩功能问题导读：1.如何启动hadoop、hbase集群的压缩功能？2.lzo的作用是什么？3.hadoop配置文件需要做哪些修改？首先我们明白一个概念：LZO 是致力于解压速度的一种数据压缩算法，LZO 是 Lempel-Ziv-Oberhum... 阅读全文

posted @ 2015-11-30 16:23 ~风轻云淡~ 阅读(765) 评论(0) 推荐(0) 编辑

FLume监控文件夹，将数据发送给Kafka以及HDFS的配置文件详解

摘要：详细配置文件flume-conf.properties如下：############################################# producer config############################################agent sectionp... 阅读全文

posted @ 2015-11-28 11:25 ~风轻云淡~ 阅读(5154) 评论(1) 推荐(0) 编辑

通过java读取HDFS的数据 (转）

摘要：原文链接：通过java读取HDFS的数据通过JAVA直接读取HDFS中的时候，一定会用到FSDataInputStream类，通过FSDataInputStream以流的形式从HDFS读数据代码如下：import java.io.IOException;import java.net.URI;im... 阅读全文

posted @ 2015-11-24 19:03 ~风轻云淡~ 阅读(6503) 评论(0) 推荐(0) 编辑