Mac搭建Hadoop源码阅读环境

1、本次Hadoop源码阅读环境使用的阅读工具是idea，Hadoop版本是2.7.3。需要安装的工具包括idea、jdk、maven、protobuf等

2、jdk，使用的版本是1.8版，在jdk官网下载jdk-8u111-macosx-x64.dmg，点击安装，一路next。

3、idea安装，略

4、maven，使用的版本是3.3.9,下载apache-maven-3.3.9-bin.tar,解压：

tar -zxvf  apache-maven-3.3.9-bin.tar

进入 Maven 安装根目录 cd apache-maven-3.3.9

进入 Maven配置文件目录 cd conf

编辑settings.xml文件 vi  settings.xml

设置阿里云的Maven库，参考：maven使用阿里云仓库

设置Maven环境变量：

vi ~/.bash_profile

export MAVEN_HOME=/opt/PRG/apache-maven-3.3.9
export PATH=${PATH}:${MAVEN_HOME}/bin:
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
export PATH

 

更新环境变量 source ~/.bash_profile

mvn -version 能看到相应的版本，则Maven安装成功。

5、安装protobuf，下载protobuf-2.5.0.tar.gz

解压：tar -zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0

依次执行

  ./configure
  make
  make check
  make install

 

最后输入  protoc --version命令，如显示libprotoc 2.5.0则安装成功

 6、编译Hadoop源码

在Hadoop官网下载hadoop-2.7.3-src.tar.gz源码

解压：tar -zxvf  hadoop-2.7.3-src.tar.gz

cd hadoop-2.7.3-src

执行：

mvn package -Pdist -DskipTests -Dtar

 在macbook air上需要26分钟

最后输出：[INFO] Reactor Summary：

没有报错，则说明编译成功。

7、把编译好的Hadoop源码导入Idea

import Maven工程一路next