摘要: 1.2. 3. TODO...Note:start namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc,则运行bin/hdfs加参数其他(如resourcemanager/nodemanager),运行bin/hadoop加参数 阅读全文
posted @ 2014-03-22 22:30 飞天虎 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 1. 执行libexec/yarn-config.sh2. 启动ResourceManager sbin/yarn-daemon.sh --config $YARN_CONF_DIR start resourcemanager3. 启动NodeManager sbin/yarn-daemons.sh --config $YARN_CONF_DIR start nodemanager 阅读全文
posted @ 2014-03-22 19:21 飞天虎 阅读(1763) 评论(0) 推荐(0) 编辑
摘要: 1. 执行hdfs-config.sh2. 如果参数个数超过1,读取第一个参数。 -upgrade则继续,即dataStartOpt="",nameStartOpt="$@"; -rollback,则dataStartOpt="-rollback",nameStartOpt="-rollback $@"3. 执行bin/hdfsgetconf -namenodes获取NAMENODES 执行sbin/hadoop-daemons.sh"--config "$HADOOP_CONF_DIR&quo 阅读全文
posted @ 2014-03-22 19:14 飞天虎 阅读(2734) 评论(0) 推荐(0) 编辑
摘要: 一、libexec/hdfs-config.sh执行hadoop-config.sh二、libexec/yarn-config.sh执行hadoop-config.shexport MALLOC_ARENA_MAX=${MALLOC_ARENA_MAX:-4}export YARN_CONF_DIR="${HADOOP_CONF_DIR:-$HADOOP_YARN_HOME/conf}"读取--hosts参数,设置为slavesfile三、libexec/mapred-config.sh执行hadoop-config.sh设置LOG:HADOOP_MAPRED_LOG_DI 阅读全文
posted @ 2014-03-22 17:09 飞天虎 阅读(1949) 评论(0) 推荐(0) 编辑
摘要: 1. export JAVA_HOME2. 设置HADOOP_CONF_DIR,默认etc/hadoop3. 设置HADOOP_CLASSPATH为contrib/capacity-scheduler/*.jar,即将所有jar包加入HADOOP_CLASSPATH4. 设置HADOOP_OPTS,-Djava.net.preferIPv4Stack=true5. 设置其他环境变量export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit 阅读全文
posted @ 2014-03-22 16:58 飞天虎 阅读(2117) 评论(0) 推荐(0) 编辑
摘要: start-all.sh调用start-dfs.sh和start-yarn.shstart-dfs.sh和start-yarn.sh都调用libexec/hadoop-config.sh初始化环境配置一. libexec/hadoop-config.sh1. 初始化库文件环境变量,包括share/hadoop/*和lib/native,share目录是jar库文件,lib/native目录下是C/C++库文件2. 如果使用--config 参数,则设置为自定义配置文件目录HADOOP_CONF_DIR3. 检测conf/hadoop-env.sh是否存在,存在则设置conf为默认配置文件目录D 阅读全文
posted @ 2014-03-22 16:37 飞天虎 阅读(4089) 评论(0) 推荐(0) 编辑