文章分类 -  Hadoop专题

观察分块情况以及文件块的复制和datanode的动态添加
摘要：一、将hdfs-site.xml的replication值设为2，通过网页观察分块情况 在阅读这篇博客之前，你应该先阅读:使用hdfs dfs命令对文件进行增删改查操作. 1.将hdfs-site.xml的replication值设为2 vim hdfs-site.xml 添加如下内容： <prop 阅读全文
posted @ 2017-04-16 14:15 pfnie 阅读(321) 评论(0) 推荐(0) 编辑
使用hdfs dfs命令对文件进行增删改查操作
摘要：一、put文件到HDFS 在阅读这篇博客之前，你应该先阅读:对集群进行集中管理. 1.使用hdfs dfs -put file / 解释：file指的是你本地文件路径地址，/指的是hdfs的根路径. 例如我现在位于/usr/local/source路径下面，我想把当前路径下的hadoop-2.7.3 阅读全文
posted @ 2017-04-16 13:22 pfnie 阅读(2317) 评论(0) 推荐(0) 编辑
对集群进行集中管理
摘要：一、目前存在的问题 在阅读这篇博客之前，你应该先阅读：简单认识namenode和datanode. 在之前，我们启动Hadoop集群的时候，首先是启动namenode，然后启动datanode. 注意：我们之前的做法是手动的将启动datanode的命令发送给所有的datanode，显然如果在集群很庞 阅读全文
posted @ 2017-04-16 10:28 pfnie 阅读(171) 评论(0) 推荐(0) 编辑
简单认识namenode和datanode
摘要：一、Hadoop的启动 在阅读这篇博客之前，你应该先阅读：Hadoop的安装与环境搭建. 1. 首先在npdev1机器上面运行hadoop-daemon.sh start namenode，启动namenode. 2. 然后在npfdev2,npfdev3,npfdev4分别运行hadoop-dae 阅读全文
posted @ 2017-04-16 08:45 pfnie 阅读(448) 评论(0) 推荐(0) 编辑
Hadoop的安装与环境搭建
摘要：一、Hadoop的安装 1. 下载地址：https://archive.apache.org/dist/hadoop/common/ 我下载的是hadoop-2.7.3.tar.gz版本。 2. 在/usr/local/ 创建文件夹zookeeper mkdir hadoop 3.上传文件到Linu 阅读全文
posted @ 2017-04-01 14:16 pfnie 阅读(534) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示