hadoop2.2分布式环境搭建
hadoop2.2的分布式环境需要配置的参数更多。但是需要安装的系统软件和单节点环境是一样的。
运行hadoop在非安全环境
hadoop的配置文件有两类：
1：只读的默认配置文件： core-default.xml,hdfs-default.xml,yarn-default.xml mapred-default.xml
2: 可配置的配置文件： core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml
除此之外，还可以修改bin目录下面的shell脚本，或者是hadoop-env.sh,yarn-env.sh。
为了配置集群，需要配置hadoop进程运行需要的环境参数。hadoop的守护进程为NameNode/DataNode和ResourceManager
配置hadoop进程的环境参数
管理员需要使用conf/hadoop-env.sh和conf/yarn-env.sh脚本来定制化hadoop进程的环境。最少也要配置JAVA_HOME环境。大多数情况下需要制定HADOOP_PID_DIR和HADOOP_SECURE_DIR来指定目录，改目录是启动hadoop进程的用户可以写入的。
例如：export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}"
如果我们想通过调试的方式来了解系统的运行价格可以在这个里面配置调试参数，配置参数如下：
-agentlib:jdwp=transport=dt_socket,address=localhost:${JVM_DEBUG_PORT},server=y,suspend=${JVM_SUSPEND} -jvm_args={JVM_ARGS}
除了这些参数我们可以配置别的参数
1：HADOOP_LOG_DIR YARN_LOG_DIR 指定日志文件的保存目录。
2：HADOOP_HEAPSIZE YARN_HEAPSIZE 用来配置进程使用的堆的大小，单位是MB
提示：堆大小=young+old
配置hadoop进程的配置参数
1：core-site.xml
fs.defaultFS 指定namenode的URL
io.file.buffer.size 读写SequenceFile的大小
2：hdfs-site.xml
dfs.namenode.name.dir 指定一个本地文件系统路径来存储命名空间和日志。如果多个目录用逗号分隔，那么保存多个副本到这些目录中
dfs.namenode.hosts/dfs.namenode.hosts.excude 允许和排除的datanode的主机名
dfs.blocksize datanode的数据块大小
dfs.namenode.handler.count 100 设置namenode的线程数据来出路datanode的rpc调用
dfs.datanode.data.dir 数据块的存储目录，用逗号分隔，通常是每个硬盘做为一个目录。加快数据读写
3：yarn-site.xml
配置ResourceManager和NodeManager
yarn.acl.anable 是否允许acl,默认是false ACL:访问控制列表 表现为rwxrwxrwx
yarn.admin.acl 管理员的acl控制。
yarn.log-aggregation-enable 配置是否允许日志合并。
配置RescourceManger
yarn.resourcemanager.address ResourceManager host:port ，客户端通过它来提交任务
yarn.resourcemanager.scheduler.address ResourceManager host:port ，ApplicationMaster告诉scheduler来获得资源
yarn.resourcemanager.resource-tracker.address ResourceManager host:port ，NodeManager通过该URL来连接ResourceManager
yarn.resourcemanager.webapp.address ResourceManager host:port web-ui的host:port
yarn.resourcemanager.admin.address ResourceManager 的host:port 用来接收管理员的命令参数
yarn.resourcemanger.scheduler.class ResourceManager协调类 。 CapacityScheduler (recommended), FairScheduler (also recommended), or FifoScheduler、
yarn.resourcemanager.minimum-allocation-mb 作业最小可申请的内存大小。
yarn.resourcemanager.maximum-allocation-mb 作业最大可申请的内存大小
yarn.resourcemanager.nodes.include-path/
yarn.resourcemanager.nodes.exclude-path 许可和排除的NodeManager的列表。
配置NodeManger
yarn.nodemanager.resource.memeory-mb
yarn.nodemamager.vmem-pmem-ration 虚拟内存使用可以超过物理内存的最大比例 ,有点像虚拟内存空间。
yarn.nodemanager.local-dirs 逗号分隔的本地文件路径，用来写入中间文件。多个文件可以扩展磁盘的io
yarn.nodemanager.log-dirs 逗号分隔的本地文件路径,用来写入日志
yarn.nodemanager.log.retain-seconds 如果log-aggregation为false那么设置该值表示日志最大的保留时间 单位是秒
yarn.nodemanager.remote-app-log-dir
yarn.nodemanager.remote-app-log-dir-suffix
yarn.nodemanager.aux-services 默认值mapreduce_shuffle
4：mapred-site.xml
mapreduce.framework.name yarn
mapreduce.map.memory.mb 1536
mapreduce.map.java.opts -Xms1024M
mapreduce.reduce.memory.mb 3072
mapreduce.reduce.java.opts -Xms2560M
mapreduce.task.io.sort.mb 用来数据的排序的最大内存
mapreduce.task.io.sort.factor 当排序的可以一次合并多少个流
mapreduce.reduce.shuffle.parallelcopies 当运行reduce的时候并行复制map任务输出的最大个数。
配置MapReduce jobhistory
mapreduce.jobhistory.address MapReduce jobhistory的服务
mapreduce.jobhistory.webapp.address
mapreduce.jobhistory.intermediate-done-dir 用些写入MapReduce作业历史文件的目录
mapreduce.jobhistory.done-dir MapReduce JobHistory服务器管理的目录
HADOOP的机架感知
HDFS和YARN都是机架感知的
NameNode和ResourceManager通过调用一个resolve的API（管理配置模块）获取到集群中slaver的机架信息。该api能解析DNS的名称到机架ID.
用户可以配置topology.node.switch.mapping.impl。该配置默认的实现运行了一个脚本使用了topology.script.file.name的配置参数，如果该配置参数未设置。将返回一个默认的机架ID.
检测NodeManager的健康
hadoop提供了一种机制，管理员可以配置一个NodeManager周期性来运行一个管理员提供的脚本来决定这个节点的是否健康。
脚本打印一个error日志，然后NodeManager检测到这个日志发送一个不健康的心跳到ResourceManager，ResourceManger接受到之后把它拉黑。如果后面后没出现error，就拉百。
在yarn-site.xml需要配置如下的参数
Slavers File
通常是选择集群中一个机器作为NameNode。一个机器最为ResourceManager,剩下的机器作为DataNode和NodeManager。他们被归类为slavers.
在conf/slaves中列出所有slave的主机名，每个一行。
配置集群
如果上面都配置好了，分发这些配置文件到集群所有机器的HADOOP_CONF_DIR目录中去。
HADOOP集群启动
1：格式化分布式文件系统： hdfs namenode -format
2: 启动HDFS的namenode hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode
3: 启动HDFS的所有的datanode hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start datanode
4: 启动YARN的ResourceManager $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager
5: 启动YARN的所有的NodeManager $ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start nodemanager
6：启动的webappproxy服务器 $HADOOP_YARN_HOME/sbin/yarn-daemon.sh start proxyserver --config $HADOOP_CONF_DIR
7： 启动MapReduce JobHistory $ $HADOOP_PREFIX/sbin/mr-jobhistory-daemon.sh start historyserver --config $HADOOP_CONF_DIR
