分布式HDFS的安装和启动（二）

一、分布式HDFS的安装和启动
①在$HADOOP_HOME/etc/hadoop/core-site.xml文件
<property>
<name>fs.defaultFS</name>
<!-- 告知NN在哪个机器，NN使用哪个端口号接收客户端和DN的RPC请求. -->
<value>hdfs://mypc:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>

②格式化Namenode（只需要格式化一次）
命令： hadoop namenode -format
目的： ①生成/opt/module/hadoop-2.7.2/data/tmp目录
②在目录中生成fsimage_0000000000000000000文件

启动Namenode
hadoop-daemon.sh start namenode

启动datanode
hadoop-daemon.sh start datanode

群起/停止hdfs

start-dfs.sh

stop-dfs.sh

 

查看
Jps
通过浏览器访问 http://nn所在的主机名/ip:50070

如果NN和DN都在一台机器，且只有一个DN节点，称为伪分布式！

5、hdfs文件系统上传下载查看操作

　　5.1、上传文件到hdfs的根目录

　　　　hadoop fs -put hello.py /

　　　　上传文件指定副本数

　　　　hadoop fs -D dfs.replication=1 -put hello.py / 

　　5.2、查看hdfs文件系统文件

　　　　hadoop fs -ls /

　　5.3、下载hdfs文件系统中的文件

　　　　hadoop fs -get /hello.py /

 

二、在本地运行MR

 　　hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount / /wc

　　hadoop运行$HADOOP/share/hadoop/mapreduce中的示例jar包，运行wordcount 统计单词，统计hdfs文件系统中根目录下的文件内容的单词，写到/wc中

 

三、在YARN上运行MR
①修改 $HADOOP_HOME/etc/hadoop/mapred-site.xml文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

②启动YARN
配置RM到底在哪个机器启动
修改 $HADOOP_HOME/etc/hadoop/yarn-site.xml文件
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mypc</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

③启动RM,NM
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager

群起/关闭yarn

start-yarn.sh

stop-yarn.sh

④查看
jps
http://RM所运行的机器主机名/ip:8088

四、提交任务

hadoop jar jar包 主类名 参数{多个输入目录，一个输出目录}

输入目录中必须全部是文件！
输出目录必须不存在！