大数据系列01：大数据离线计算平台hadoop集群搭建和本地环境配置实践
最近出于兴趣开始研究大数据领域技术，照例从离线计算开始，作为菜鸟一枚，将学习实践过程记录下来，抛砖引玉，大牛请轻拍。鸣谢大数据专家段海涛老师，看他的视频学习的。
1 环境准备：
1.1 安装linux操作系统
centos安装好之后，安装ssh、scp服务，关闭防火墙
1 [root@mini1 ~]$ yum install openssh-server 2 [root@mini1 ~]$ yum install openssh-client 3 [root@mini1 ~]$ service iptables stop 4 [root@mini1 ~]$ chkconfig iptables off
1.2 安装jdk，配置环境变量
1 [root@mini1 ~]$ tar –zxvf jdk-8u111-linux-x64.tar.gz –C /usr/local/java 2 [root@mini1 ~]$ vi /etc/profile
1 export JAVA_HOME=/usr/local/java/jdk1.8.0_111 2 export PATH=$PATH:$JAVA_HOME/bin
1.3 配置集群中所有机器的主机别名
1 [root@mini1 ~]$vim /etc/hosts
1 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 2 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 3 192.168.1.142 mini1 4 192.168.1.143 mini2 5 192.168.1.144 mini3 6 192.168.1.145 mini4
1.4 配置名称节点机器到数据节点机器的免密登录。
1 [root@mini1 ~]$ ssh-keygen #提示时，直接回车即可 2 [root@mini1 ~]$ ssh-copy-id mini2/mini3/mini4 # 3 [root@mini1 ~]$ ssh mini2 #测试是否配置成功
将用来做namnode机器上配置好主机别名的hosts文件【1.3的操作】下发到集群的其他机器
1 [root@mini1 ~]$ scp /etc/hosts mini2:/etc/ 2 [root@mini1 ~]$ scp /etc/hosts mini3:/etc/ 3 [root@mini1 ~]$ scp /etc/hosts mini4:/etc/
1.5 创建服务器的hadoop业务账户
我们单独建一个用户来进行操作hadoop集群安装配置管理工作，用户名和命名均设置为：hadoop
1 [root@mini1 ~]# useradd hadoop 2 [root@mini1 ~]# passwd hadoop
1.6 给业务账号配置高级操作权限
在用来安装名称节点的机器上给Hadoop用户配置操作权限（省去经常切换root用户的麻烦，需在root用户下操）
1 [root@mini1 ~]$ vi /etc/sudoers 2 hadoop ALL=(ALL) ALL
1.7 使用业务账号登录
使用hadoop账户登录要安装集群的机器
1.8 从名称节点机器下发sudoers权限文件到集群
将当前（名称节点）机器上配好hadoop账户权限的sudoers文件下发到其他机器上
1 [root@mini1 hadoop]# scp /etc/sudoers mini2:/etc 2 [root@mini1 hadoop]# scp /etc/sudoers mini3:/etc 3 [root@mini1 hadoop]# scp /etc/sudoers mini4:/etc
2 安装和配置hadoop
2.1 上传hadoopjar包
上传hadoopjar包到一台名称节点服务器上进行安装配置。[安装配置好之后下发到集群中的其他数据节点]
2.2 创建安装目录并解压安装包
创建一个apps文件夹用来今后安装hadoop相关的软件，并将刚上传的hadoop包解压到该文件夹
1 [hadoop@mini1 ~]$ mkdir apps 2 [hadoop@mini1 ~]$ tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C apps/
2.3 编辑hadoop相关配置文件
编辑相关配置文件（相关配置参数可以配置到在以下任意的一个配置文件中，只是为了方便区分，一一进行配置）：配置参数参考：http://hadoop.apache.org/docs/r0.23.11/hadoop-project-dist/hadoop-common
core-site.xml：公共的核心的配置文件
hadoop-env.sh：hadoop运行时配置文件
hdfs-site.xml：hdfs配置文件
mapred-site.xml.template：mapreduce运行时配置文件
yarn-site.xml：yarn配置文件
2.3.1 hadoop-env.sh
配置java环境变量（jdk所在目录）
1 [hadoop@mini1 hadoop]$ vi hadoop-env.sh
2.3.2 core-site.xml
1 [hadoop@mini1 hadoop]$ vi core-site.xml
1 <!-- Put site-specific property overrides in this file. --> 2 3 <configuration> 4 5 6 7 <!-- 配置集群名称节点位置 --> 8 9 <property> 10 11 <name>fs.defaultFS</name> 12 13 <value>hdfs://mini1:9000</value> 14 15 </property> 16 17 18 19 <!-- 配置hadoop运行数据存放目录 --> 20 21 <property> 22 23 <name>hadopp.tem.dir</name> 24 25 <value>/home/hadoop/hdpdata</value> 26 27 </property> 28 29 30 31 </configuration>
2.3.3 hdfs-site.xml
hdfs-site.xml文件的配置都有默认值，无特殊情况可以不进行配置，此处仅作练习
1 [hadoop@mini1 hadoop]$ vi hdfs-site.xml
1 <configuration> 2 3 4 5 <!—副本数量，默认为3 --> 6 7 <property> 8 9 <name>dfs.replication</name> 10 11 <value>2</value> 12 13 </property> 14 15 16 17 </configuration>
2.3.4 mapred-site.xml.template
配置完之后更改文件名，去掉后面的template
1 [hadoop@mini1 hadoop]$ vi mapred-site.xml.template
1 <configuration> 2 3 4 5 <!—配置mapreduce资源调度平台类型 --> 6 7 <property> 8 9 <name>mapreduce.framework.name</name> 10 11 <value>yarn</value> 12 13 </property> 14 15 16 17 </configuration>
1 [hadoop@mini1 hadoop]$ mv mapred-site.xml.template mapred-site.xml
2.3.5 yarn-site.xml
1 [hadoop@mini1 hadoop]$ vi yarn-site.xml
1 <configuration> 2 3 <!— 配置名称节点主机名 --> 4 5 <property> 6 7 <name>yarn.resourcemanager.hostname</name> 8 9 <value>mini1</value> 10 11 </property> 12 13 14 15 <property> 16 17 <name>yarn.nodemanager.aux-services</name> 18 19 <value>mapreduce_shuffle</value> 20 21 </property> 22 23 24 25 </configuration>
3 下发集群
3.1 将按照配置好的hadoop下发到数据节点机器上
名称节点的的hadoop安装配置好之后，将hadoop下发到集群中的其他机器
1 [hadoop@mini1 ~]$ scp -r apps/ mini2:/home/hadoop/ 2 [hadoop@mini1 ~]$ scp -r apps/ mini3:/home/hadoop/ 3 [hadoop@mini1 ~]$ scp -r apps/ mini4:/home/hadoop/
3.2 配置hadoop环境变量并将配置文件下发到节点机器上并刷新
在名称节点机器上配置好已装好的hadoop的环境变量，并将环境变量配置文件下发到集群中的其他机器，并刷新配置文件。
1 [hadoop@mini1 hadoop-2.6.4]$ sudo vi /etc/profile
1 export JAVA_HOME=/usr/local/java/jdk1.8.0_111 2 export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4 3 export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5 4 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/bin:/usr/local/java/jdk1.8.0_111/bin:$ZOOKEEPER_HOME/bin
1 [hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini2:/etc/ 2 [hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini3:/etc/ 3 [hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini4:/etc/
在其他机器上刷新系统配置文件
1 [hadoop@mini1 hadoop-2.6.4]$ source /etc/profile
4 启动hadoop服务机器
4.1 启动前格式化hdsf文件系统
格式化名称节点机器上的hdfs系统：
1 [hadoop@mini1 ~]$ hadoop namenode –format
出现：“Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted.”则表示格式化成功
4.2 启动名称节点（namenode）上的服务
发现容量为空，数据节点的数量为0.
启动命令：
1 [hadoop@mini1 sbin]$ cd /home/hadoop/apps/hadoop-2.6.4/sbin #配置了hadoop环境变量本步可以省略 2 [hadoop@mini1 sbin]$ hadoop-daemon.sh start namenode
查看启动状态命令：
1 [hadoop@mini1 ~]$ jps
4.3 启动数据节点（datanode）上的服务并查看状态
1 [hadoop @mini2/3/4 ~]# hadoop-daemon.sh start datanode 2 [hadoop@mini2/3/4 ~]$ jps
4.4 从web服务中查看hadoop集群状态
打开浏览器访问：http://mini1:50070，查看集群状态和节点分布
5 配置批量操作脚本
在hadoop的sbin目录下，有很多批量操作（启动或者停止）的脚本，其本质是循环调用“ssh+主机+命令”的方式进行操作，因此需要在/home/hadoop/apps/hadoop-2.6.4/etc/hadoop目录下的slaves文件配置数据节点的主机名。
5.1 查看命令脚本目录
1 [hadoop@mini1 sbin]$ cd /home/hadoop/apps/hadoop-2.6.4/sbin
5.2 在slaves文件配置数据节点主机
1 [hadoop@mini1 sbin]$ /home/hadoop/apps/hadoop-2.6.4/etc/hadoop
2 [hadoop@mini1 hadoop]$ vi slaves
初始只有localhost
添加集群数据节点主机，方便脚本调用
5.3 测试批量操作
停止所有节点hdfs服务
1 [hadoop@mini1 hadoop]$ stop-dfs.sh
查看是否批量停止成功：
6 hadoop本地开发环境搭建
6.1 解压安装包
6.2 使用windows平台的包的bin和lib目录替换原有的bin和lib目录
6.3 配置环境变量
6.4 添加jar包到集成开发工具
