配置Hadoop守护进程环境变量

　　　　　　　　　　　配置Hadoop守护进程环境变量

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

 

一.配置HDFS环境变量(hadoop-env.sh)

　　必须在hadoop-env.sh文件中设置Hadoop专用的环境变量。至少必须制定JAVA_HOME环境变量的值。
　　　　export JAVA_HOME=/yinzhengjie/softwares/jdk1.8.0_201
　　　　export HADOOP_CONF_DIR=/yinzhengjie/softwares/hadoop/conf/hdfs
　　　　export HADOOP_HEAPSIZE=512
　　　　export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} ... -XX:+UseParallelGC -Xmx4g"
　　　　export HADOOP_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS ... -XX:+UseParallelGC -Xmx2g"
　　　　export HADOOP_SECONDARYNAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} ... -XX:+UseParallelGC -Xmx4g"
　　　　export HADOOP_LOG_DIR=/yinzhengjie/logs/hadoop/hdfs

　　温馨提示:
　　　　上面配置的参数我没有写全，使用了省略号("...")代替，大家应该关心我在省略号后面添加的配置项，比如HDFS集群的各节点守护进程的堆内存大小配置。上述配置仅是用来学习参考，生产环境需要视具体情况而调优。

 

二.配置YARN环境变量(yarn-env.sh)

　　必须在yarn-env.sh文件中设置YARN专用的环境变量。至少必须制定JAVA_HOME环境变量的值(当然，如果你在hadoop-env.sh中指定了的话，此处也可以省略不配置，但我建议大家还是显式的配置上)。
　　　　export JAVA_HOME=/yinzhengjie/softwares/jdk1.8.0_201
　　　　export YARN_CONF_DIR=/yinzhengjie/softwares/hadoop/conf/yarn
　　　　YARN_HEAPSIZE=512  # 该值默认值为1000，我这里故意调小，毕竟是用来测试的。
　　　　export YARN_RESOURCEMANAGER_HEAPSIZE=256  # 该值默认值为1000MB，我此处故意调小，来验证配置是否生效，生产环境中应该视情况而调大。
　　　　export YARN_NODEMANAGER_HEAPSIZE=512  # 该值默认值也是1000MB
　　　　YARN_LOG_DIR=/yinzhengjie/logs/hadoop/yarn

 

三.配置mapreduce环境变量(mapred-env.sh)

　　必须在mapred-env.sh文件中设置YARN专用的环境变量。至少必须制定JAVA_HOME环境变量的值(当然，如果你在hadoop-env.sh中指定了的话，此处也可以省略不配置，但我建议大家还是显式的配置上)。
　　　　export JAVA_HOME=/yinzhengjie/softwares/jdk1.8.0_201
　　　　export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=512  # 此参数的默认值也是1000MB哟。
　　　　export HADOOP_MAPRED_LOG_DIR=/yinzhengjie/logs/hadoop/mapreduce
　　　　export HADOOP_MAPRED_PID_DIR=/yinzhengjie/softwares/hadoop/pid  # PID文件默认存储在/tmp目录下。