1. 说明
数据处理时，可能会遇到数千万以及上亿条数据的情况。如果一次性处理所有数据，就会遇到内存不够，计算时间太长等问题。上篇《Python海量数据处理之_单机优化》讲述了单机的处理大数据的解决方案。下面将讲述如何利用服务器集群处理大数据，这里使用的工具是Hadoop，内容太多，分为三部分介绍，本篇是第一部分集群搭建，后两部分分别是原理和python调用。
2. Hadoop简介
如果有多台用于数据计算的机器，可以使用Hadoop框架建立集群，统一分配布属。Hadoop是由Apache基金会所开发的分布式系统基础架构，最核心的设计是：HDFS和MapReduce。HDFS为数据提供了存储，MapReduce为数据提供了计算，其中Mapper指的就是拆分处理，Reducer指的就是将结果合并。和单机一样，核心也是拆分，处理，再合并。
多台机器同时处理数据，相对更复杂，需要考虑：数据共享，同步，冲突，资源分析，计算顺序，以及主控宕机等等问题。
3. Hadoop安装
首先，需要配置起Hadoop环境，才能进行各种实验。Hadoop有三种安装方式：单机，伪分布式和分布式，前两种都是在单机上安装使用的。伪分布式即可以用单机实现，又可以理解分布式的原理，本文主要介绍伪分布式Hadoop的安装。
1) 安装Java
Hadoop是java语言实现的，所以需要先安装java和配置相关的环境变量，一般用apt-get安装后环境就被自动配置了。
2) 创建hadoop用户
不一定非要创建hadoop用户，因为考虑到有删除ssh密码等操作，为了机器安全性，这里创建了hadoop用户。
$ sudo adduser hadoop
$ su hadoop # 之后的操作都在hadoop用户下进行
3) 安装配置ssh
为了使本机能使用ssh登陆，需要安装ssh服务端，并关掉 PAM认证，并设用户密码为空
$ sudo apt-get install -y openssh-server # 安装ssh服务
$ sudo vim /etc/ssh/sshd_config # 将UsePAM设为no
$ sudo /etc/init.d/ssh start # 启动ssh服务，如果安装时已自启动，则配置后用restart重启
$ ssh localhost # 连接后用exit接出，此时用户目录下生成.ssh目录
$ cd ~/.ssh # 以下几步是为了设置当前用户无密码登陆
$ ssh-keygen -t rsa # 设置密码为空，即直接回车
$ cat ./id_rsa.pub >> ./authorized_keys
4) 下载Hadoop
http://www.apache.org/dyn/closer.cgi/hadoop/common/
建议下载2.6或2.7的版本，不同版本配置文件不同，而2.7前后的版本教程较多，不用下源码，下载bin包即可。
$ cd /home/hadoop/ # 安装在哪里都行，但需要注意在配置文件中指定目录
$ tar xvzf hadoop-2.7.5.tar.gz
$ ln –s hadoop-2.7.5 hadoop # 方便以后更换版本
$ vi ~/.bashrc
#加下以入内容（在/etc/profile中设置也行）。设置后，用source ./barshrc让它立即生效。
export HADOOP_PREFIX="/home/hadoop/hadoop" # 具体根据安装目录设置
export YARN_CONF_DIR="/home/hadoop/hadoop"
export HADOOP_COMMON_LIB_NATIVE_DIR="$HADOOP_PREFIX/lib/native"
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
export PATH=$PATH:$HADOOP_PREFIX/bin
5) 配置core-site.xml
$ vi hadoop/etc/hadoop/core-site.xml
在configure中加入如下内容（具体根据安装目录设置）
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
6) 配置hdfs-site.xml
$ vi hadoop/etc/hadoop/hdfs-site.xml
在configure中加入如下内容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
</property>
</configuration>
7) 配置mapered-site.xml
$ cp ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
$ vi ./etc/hadoop/mapred-site.xml
在configure中加入如下内容
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
8) 配置yarn-site.xml
$ vi ./etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
9) 格式化namenode
$ hadoop namenode -format
如果显示Exiting with status 0，则创建成功
10) 在etc/hadoop/*-env.sh中设置JAVA_HOME
（根据自己机器的配置）
export JAVA_HOME=/usr/lib/jvm/java-1.9.0-openjdk-amd64/
11) 启动hdfs
$ hadoop/sbin/start-dfs.sh
12) 看当前服务启动状态
$ jps
成功启动后还可以通过访问http://localhost:50070，来查看状态。
13) 启动所有服务
./sbin/start-all.sh
成功启动后还可以通过访问http://localhost:8088/cluster，来查看状态。
14) 问题及解决
我在执行start-dfs.sh时，报错util.NativeCodeLoader，意思是调用内部库时出错，内部库指的是用JNI调的C库，解决方法是用ldd看看so库链接是否正常，如果so库与当前系统不能匹配，则需要重编源码。还有一种情况，就是环境变量没设对，我这边设置了两个环境变量：
$ export JAVA_LIBRARY_PATH=/home/hadoop/hadoop/lib/native/
$ export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
之后问题得以解决，根本原因是不同Hadoop版本环境变量名有差别，所以跟着文档做常会出现各种问题，而文档中指定的版本很可能不是主流版本，已经无法下载了。解决方法是跟进脚本，定位具体问题。
4. 编译Hadoop源码
如果上述可工作正常，则无需要编译源码。有些情况下，环境与二进制版本不一致，则需要下载源码编译，我下载的也是2.7.5版本的src包。重编时坑也很多。
源码包解压后，目录中有BUILDING.txt文件，执行其中所有apt-get相关命令。然后编译：
$ mvn package -Pdist,native -DskipTests –Dtar
mvn是编译工具maven，编译过程非常慢，编出将近4G。编译后生成文件为hadoop-dist/target/hadoop-2.7.5.tar.gz，
在编译过程中遇到三种报错：
一种报错是“protoc failure”，用apt-get安装该包后又报错版本不对，最后编译了protobuf-2.5.0包（注意install后要ldconfig，否则还是找不到），得以解决。
另一个报错是“No plugin descriptor found at META-INF”，我从csdn下载了一个，改了版本号就能用了。
还有一种报错是连不上marven服务器，于是在设置文件/etc/maven/settings.xml中加入了国内的镜像地址。
技术文章定时推送
请关注公众号：算法学习分享
