Hadoop.之.常用配置

常用配置

 　　Hadoop的安装位置：$hadoop_home=/opt/modules/hadoop-2.7.3

1. 修改hdfs的访问权限

　　关闭hdfs的访问权限

　　　　打开官方文档（如下操作），搜索一个：dfs.permissions.enabled 其属性值，默认是：true（代表是默认开启检查权限的）

　　　　http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

　　　　

 

　　　　

　　　　编辑 $hadoop_home/etc/hadoop/hdfs-site.xml文件，添加如下内容：

　　　　<!-- 配置hdfs访问权限 -->
　　　　<property>
　　　　　　<name>dfs.permissions.enabled</name>
　　　　　　<value>false</value>
　　　　</property>

　　　　

　　　　　　注意：　　

　　　　　　　　修改了配置文件，需要重启 ，才能生效。

 

2. 配置历史服务器：用于统一管理所有运行过的程序

　　修改配置文件:mapred-site.xml

　　  打开官网（如下操作），在新弹出的页面中搜索：mapreduce.jobhistory.address、mapreduce.jobhistory.webapp.address

　　  http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

　　  

　　

　　   编辑：$hadoop_home/etc/hadoop/mapred-site.xml文件，添加如下内容：

　　　　<!-- 历史服务器的内部通信地址 --> 
　　　　<property>
　　　　　　<name>mapreduce.jobhistory.address</name>
　　　　　　<value>gongziyuan.com:10020</value>
　　　　</property>
　　　　<!-- 历史服务器的Web访问地址. -->
　　　　<property>
　　　　　　<name>mapreduce.jobhistory.webapp.address</name>
　　　　　　<value>gongziyuan.com:19888</value>
　　　　</property>

　　　　

　　　　注意：

　　　　　　配置文件修改，需要重启才能生效。

　　　　　　需要启动历史服务器，指令：sbin/mr-jobhistory-daemo.sh start historyserver

　　

3. 配置日志聚集：用于同一记录所有程序运行的日志的。

　　修改配置文件：yarn-site.xml

　　打开官网（如下操作），在新弹出的页面中搜索：yarn.log-aggregation-enable、yarn.log-aggregation.retain-seconds

　　http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

　　

 

　　编辑 $hadoop_home/etc/hadoop/yarn-site.xml文件，添加如下内容：

　　<!-- 开启日志聚集 -->

　　<property>
　　　　<name>yarn.log-aggregation-enable</name>
　　　　<value>true</value>
　　</property>
　　<!-- 设置日志保存时间 -->
　　<property>
　　　　<name>yarn.log-aggregation.retain-seconds</name>
　　　　<value>604800</value>
　　</property>

 　　

　　注意：

　　　　配置文件的修改，需要重启服务器。

 

4.Hadoop启动和关闭的3种方式

　　单个进程启动：

　　　　sbin/hadoop-daemon.sh start namenode

　　　　sbin/hadoop-daemon.sh start datanode

　　　　sbin/yarn-daemon.sh start resourcemanager

　　　　sbin/yarn-daemon.sh start nodemanager

 

 　　分别一次性启动hdfs和yarn　　

　　　　要求：必须配置ssh免秘钥登录

　　　　sbin/start-dfs.sh : 一次性启动所有的hdfs进程

　　　　sbin/start-yarn.sh : 一次性启动yarn的所有进程

 

　　一次性启动所有进程（已经不用）

　　　　要求：必须要配置免秘钥登录

　　　　sbin/start-all.sh  : 启动所有的hdfs与yarn的进程

 

5. 验证：

　　验证历史服务器，访问：http://192.168.43.150:19888 ，即可打开如下页面。

　　

 

如有问题，欢迎纠正！！！

如有转载，请标明源处：https://www.cnblogs.com/Charles-Yuan/articles/9464362.html