摘要：
准备工作 1、yum -y install bzip2-devel（或源码安装） 2、tar -zxvf setuptools-0.6c11.tar.gz cd setuptools-0.6c11 python setup.py build python setup.py install 1、安装p 阅读全文
posted @ 2017-03-02 17:52 来碗酸梅汤 阅读(317) 评论(0) 推荐(0) 编辑
摘要：
参考： http://blog.csdn.net/sinat_33741547/article/details/54428726 1、先更新pip，防止版本过低pip install --upgrade pip2、pip install pyHdfs from pyhdfs import HdfsC 阅读全文
posted @ 2017-03-02 17:52 来碗酸梅汤 阅读(673) 评论(0) 推荐(0) 编辑
摘要：
使用setup.py安装python包和卸载python包的方法 记录安装后文件的路径 python setup.py install --record files.txt删除这些文件 cat files.txt | xargs rm -rf 阅读全文
posted @ 2017-03-02 17:50 来碗酸梅汤 阅读(151) 评论(0) 推荐(0) 编辑
摘要：
本地搭建了3个节点，3个zookeeper 1、编辑zoo.cfg配置文件 进入zookeeper-3.4.9/conf 修改zoo.cfg 2、在dataDir目录中创建一个myid文件，内容为1,2,3 3、启动zookeeper 4、设置zookeeper开机启动（也可以不设置，但开机后需要自 阅读全文
posted @ 2017-02-08 09:40 来碗酸梅汤 阅读(95) 评论(0) 推荐(0) 编辑
摘要：
此处是本人对官方文档的理解，如有不足请指正（官方文档位置在下图） HDFS存在的问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 解决HDFS 1.0中单点故障和内存受限问题。 解决单点故障 HDFS HA：通过主备NameNode解决 如果主 阅读全文
posted @ 2017-02-08 09:40 来碗酸梅汤 阅读(129) 评论(0) 推荐(0) 编辑
摘要：
在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。 这里还配置了一个 阅读全文
posted @ 2016-12-06 10:14 来碗酸梅汤 阅读(366) 评论(0) 推荐(0) 编辑
摘要：
1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整 阅读全文
posted @ 2016-11-30 10:54 来碗酸梅汤 阅读(143) 评论(0) 推荐(0) 编辑
摘要：
搭建完全分布式之前，需先搭建各个节点的环境，并确定每个节点时间是一致的。（因为block的创建是根据时间创建的） 1、ntp同步时间 2、建立主机名通IP 地址的映射 3、配置SSH免密码登录 4、配置hadoop-2.7.2/etc/hadoop/hadoop-env.sh 5、配置hadoop- 阅读全文
posted @ 2016-11-21 17:10 来碗酸梅汤 阅读(119) 评论(0) 推荐(0) 编辑