2015 年 2月随笔档案 - Uber

Data Collection with Apache Flume（一）

摘要：首先介绍一下Flume是个神马东东。Flume可以实现从多种数据源获取数据，然后传递到不同的目标路径。通常是利用Flume传送logs到不同的地方，例如从web server收集logs文件然后传送到hadoop cluster进行分析之类的。Flume配置灵活简单，可以实现不同情况的日志传送... 阅读全文

posted @ 2015-02-28 12:23 Uber 阅读(407) 评论(0) 推荐(0)

storm的八种Grouping策略

摘要：在这里，将会提到storm的七种grouping策略，并且编码逐一实现。首先，需要一个集群（希望尽量模仿真实环境，故就不用本地模式了）。详细的安装方法大家可以查看本人的另外一篇博文：storm集群和zookeeper集群的部署过程。 OK。现在有三个节点。一个作为nimbus，两个作... 阅读全文

posted @ 2015-02-24 22:34 Uber 阅读(7868) 评论(2) 推荐(0)

那么NN、DN、JT、TT的问题来了。。。。

摘要：首先，今天是羊年初一。祝看到这篇博文的朋友们新春快乐！身体健康！心想事成！万事胜意！言归正传。hadoop中的两大核心分别是HDFS以及MapReduce。HDFS分布式文件系统有NameNode、DataNode以及SecondaryNameNode三种节点进程，同时MR有JobTrack... 阅读全文

posted @ 2015-02-19 16:11 Uber 阅读(1696) 评论(0) 推荐(0)

学习的一个MapReduce程序（《beginner`s guide》中的例子）

摘要：第一个MR程序是实现关系型数据库中经常都会遇到的表连接操作，也就是join。这里是连接sales和accounts表，通过共同的ID列进行连接。同时统计出总的购买件数以及总的消费额。下面是两个示例数据，一个是sales.txt,另一个是accounts.txt。首先是sales.txt：001 ... 阅读全文

posted @ 2015-02-15 22:28 Uber 阅读(708) 评论(0) 推荐(2)

安装sqoop，并将Mysql中的表数据导出到HDFS下的文本文件

摘要：首先是安装mysql数据库。使用 sudo apt-get install mysql-server命令即可安装完成。然后进行表的创建和插入数据。如图。然后下载sqoop和连接mysql数据库的jar包。接下来是安装sqoop。首先是配置sqoop-env.sh文件。如图。然后将config-sqo... 阅读全文

posted @ 2015-02-13 19:46 Uber 阅读(987) 评论(0) 推荐(0)

hbase伪分布式安装

摘要：首先下载与hadoop-1.1.2对应的HBase版本，这里下载的是HBase0.96.2.如图。这个版本已经包含了hadoop-core-1.1.2.jar包，即不用做覆盖核心jar包的一步。然后对hbase进行配置。具体有hbase-env.sh以及hbase-site.xml如图。接下来即可启... 阅读全文

posted @ 2015-02-12 11:36 Uber 阅读(165) 评论(0) 推荐(0)

按照《权威指南》的例子求最低温度并且修改默认调度器为FairScheduler

摘要：首先我只是下载了2003年的数据，因为网络较慢……然后把数据整合到test.txt中，upload到hdfs文件系统中。如图。已有一个test.txt。数据准备好之后，开始搞代码。代码如图。然后把它们打包成一个jar包，运行。结果求得2003年的最低温度是-807。如图。搞掂！！接下来是实现hado... 阅读全文

posted @ 2015-02-10 11:11 Uber 阅读(813) 评论(0) 推荐(1)

利用hadoop1.x集群进行探索性实验（四）~（五）【重复格式化NN后，DN不能启动】【控制namenode检查点发生的频率】

摘要：多次重复格式化namenode后，datanode不能启动，重新将datanode加入集群。解决办法是用namenode的version文件中的namespaceID替换掉datanode的namespaceID，使到两个的namespaceID一致，就能重新加入datanode。如图。（names... 阅读全文

posted @ 2015-02-08 21:44 Uber 阅读(526) 评论(0) 推荐(0)

利用hadoop1.x集群进行探索性实验（三）【修改HDFS块大小】

摘要：首先看一下当前块大小。如图，使用命令hadoop fs -stat "%o" /目录/文件由于hadoop是按照块来存储文件的，故不管文件是否有一个块大小的容量也会占用一个块。关闭集群，进入hdfs-site.xml，添加属性dfs.block.size.如图。改成128MB。重启集群，查看块大小... 阅读全文

posted @ 2015-02-08 20:22 Uber 阅读(312) 评论(0) 推荐(0)

利用hadoop1.x集群进行探索性实验（二）【模拟namenode崩溃，通过secondary namenode恢复namenode】

摘要：启动集群之后，删除name目录，模拟集群namenode节点崩溃。再次启动发现namenode启动不了。如图。做法是：关闭集群，然后重新格式化HDFS以再次产生name目录。进入data目录中，打开datanode的version文件，将datanode的namespaceID复制，然后覆盖掉nam... 阅读全文

posted @ 2015-02-07 22:23 Uber 阅读(541) 评论(0) 推荐(0)

利用hadoop1.x集群进行探索性实验（一）【对WEB监控界面增加安全机制】

摘要：这个实验我选择了简单的做法，并没有用到kerkeros。本人会努力，尽快学会用到kerkeros给hadoop增加安全机制，使我的小象不再“裸奔”。首先是打开hdfs-site.xml，然后加入如下属性。最后设置登录用户名。就是在设置hadoop.http.authentication.signat... 阅读全文

posted @ 2015-02-06 23:38 Uber 阅读(602) 评论(0) 推荐(0)

本地编译64位hadoop并进行部署。

摘要：我是接着用上次已经部署好的环境，故已经有ssh以及java。没有安装这两个的朋友可以看本人关于伪分布式安装的博文。首先是输入命令sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config li... 阅读全文

posted @ 2015-02-05 23:07 Uber 阅读(920) 评论(0) 推荐(0)

hadoop完全分布式安装

摘要：1、安装环境是vmware workstation10.0模拟出三个虚拟节点，每一个节点安装Ubuntu12.04 LTS操作系统，主机名分别是hadoop1、hadoop2以及hadoop3.同时在每一个节点安装好java。安装方法同之前介绍的伪分布式安装方法一样。2、接着是对三个节点的hosts... 阅读全文

posted @ 2015-02-04 22:41 Uber 阅读(1084) 评论(0) 推荐(1)

win7+Ubuntu双系统安装以及hadoop伪分布式安装

摘要：首先安装双系统进行伪分布式实验，安装win7+ubuntu双系统：1、右键单击“我的电脑”进入“管理”，双击“存储”，再双击“磁盘管理”，在D盘位置右击“压缩卷”，分出一个大小为50G的磁盘空间，然后格式化，之后再删除卷，作为安装ubuntu系统所用。2、下载安装easyBCD软件，新建一个Neo ... 阅读全文

posted @ 2015-02-02 21:47 Uber 阅读(551) 评论(0) 推荐(0)

storm集群和zookeeper集群的部署过程

摘要：本次实验的环境为VM station 10 安装三个虚拟机，系统为centOS6.5。IP分别如下图。如下图，三个虚拟机均安装了Java1.7以及配置好了hosts文件。接着是下载zookeeper-3.4.6（这里推荐使用此版本），进入conf目录下，将zoo_sample.cfg复制成zoo.c... 阅读全文

posted @ 2015-02-02 19:26 Uber 阅读(2015) 评论(0) 推荐(0)