Docker部署HDFS
docker部署hadoop只是实验目的，每个服务都是通过手动部署，比如namenode, datanode, journalnode等。如果为了灵活的管理集群，而不使用官方封装好的自动化部署脚本，本文还是有些启发的。
准备基础镜像
准备jdk镜像
注意，openjdk启动datanode的时候，jvm会崩溃。所以换成oraclejdk。
基础镜像以alpine为基础，上面装上jdk。Dockerfile如下。
1、openjdk1.8
FROM alpine:latest
MAINTAINER rabbix@qq.com
RUN echo -e "https://mirrors.aliyun.com/alpine/v3.7/main\nhttps://mirrors.aliyun.com/alpine/v3.7/community" > /etc/apk/repositories && \
apk --no-cache --update add openjdk8-jre-base bash && \
rm -rf /var/cache/apk/*
ENV JAVA_HOME=/usr/lib/jvm/default-jvm
ENV PATH=$PATH:$JAVA_HOME/bin
docker build . -t alpine-jdk8:v1.0
2、oraclejdk1.8
下面这种方式需要手动下载glibc。
下载地址：https://github.com/sgerrand/alpine-pkg-glibc/releases/
sgerrand.rsa.pub在项目的readme中有下载地址
FROM alpine:latest
MAINTAINER rabbix@qq.com
ADD sgerrand.rsa.pub /etc/apk/keys/
COPY glibc-2.27-r0.apk /opt/
RUN echo -e "https://mirrors.aliyun.com/alpine/v3.7/main\nhttps://mirrors.aliyun.com/alpine/v3.7/community" > /etc/apk/repositories && \
apk add /opt/glibc-2.27-r0.apk && rm -rf /opt/glibc-2.27-r0.apk && \
apk --no-cache --update add bash && \
rm -rf /var/cache/apk/*
ADD jdk-8u172-linux-x64.tar.gz /opt/
ENV JAVA_HOME=/opt/jdk1.8.0_172
ENV PATH=$PATH:$JAVA_HOME/bin
自动下载glibc
FROM alpine:latest
MAINTAINER rabbix@qq.com
RUN echo -e "https://mirrors.aliyun.com/alpine/v3.7/main\nhttps://mirrors.aliyun.com/alpine/v3.7/community" > /etc/apk/repositories && \
wget -q -O /etc/apk/keys/sgerrand.rsa.pub https://raw.githubusercontent.com/sgerrand/alpine-pkg-glibc/master/sgerrand.rsa.pub && \
wget https://github.com/sgerrand/alpine-pkg-glibc/releases/download/2.27-r0/glibc-2.27-r0.apk && \
apk add glibc-2.27-r0.apk && rm -rf glibc-2.27-r0.apk && \
apk --no-cache --update add bash && \
rm -rf /var/cache/apk/*
ADD jdk-8u172-linux-x64.tar.gz /opt/
ENV JAVA_HOME=/opt/jdk1.8.0_172
ENV PATH=$PATH:$JAVA_HOME/bin
准备hadoop镜像
因为hadoop是以nohup的方式后台运行的，所以需要修改一下启动脚本。这里使用的是当前稳定版2.9.1。
脚本位置 hadoop-2.9.1/sbin/hadoop-daemon.sh
修改前
case $command in
namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc|portmap|nfs3|dfsrouter)
if [ -z "$HADOOP_HDFS_HOME" ]; then
hdfsScript="$HADOOP_PREFIX"/bin/hdfs
else
hdfsScript="$HADOOP_HDFS_HOME"/bin/hdfs
fi
nohup nice -n $HADOOP_NICENESS $hdfsScript --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1 < /dev/null &
;;
(*)
nohup nice -n $HADOOP_NICENESS $hadoopScript --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1 < /dev/null &
;;
esac
echo $! > $pid
sleep 1
修改后
152 case $command in
153 namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc|portmap|nfs3|dfsrouter)
154 if [ -z "$HADOOP_HDFS_HOME" ]; then
155 hdfsScript="$HADOOP_PREFIX"/bin/hdfs
156 else
157 hdfsScript="$HADOOP_HDFS_HOME"/bin/hdfs
158 fi
159 $hdfsScript --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1
160 ;;
161 (*)
162 $hadoopScript --config $HADOOP_CONF_DIR $command "$@" > "$log" 2>&1
163 ;;
164 esac
165 echo $! > $pid
166 sleep 1
修改之后重新压缩回tar.gz
Dockerfile如下：
FROM alpine-jdk1.8:v1.0
MAINTAINER rabbix@qq.com
ADD ./hadoop-2.9.1.tar.gz /opt/
docker build . -t hadoop2.9.1:v1.0
配置docker容器的ip
docker network create --subnet=172.16.0.0/16 dn0
准备配置文件
新建目录:
mkdir -p {nn,snn,dn}/{logs,data,etc}
修改配置文件
复制 hadoop-2.9.1/etc/hadoop/ 下面所有的文件到 nn/etc/
复制/etc/hosts 到 nn/etc/
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9001</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hdfs-root/</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>master:50071</value>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>slave1:50076</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>secondary:50091</value>
</property>
<property>
<name>dfs.datanode.address</name>
<value>slave1:50011</value>
</property>
<property>
<name>dfs.datanode.ipc.address</name>
<value>slave1:50021</value>
</property>
</configuration>
etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.0.2 master
172.16.0.3 secondary
172.16.0.4 slave1
主机名中不允许有下划线
启动命令
namenode
因为namenode第一次需要初始化。
先执行初始化命令
docker run -d --rm --net dn0 --ip 172.16.0.2 -h master \
--name namenode -p 9001:9001 -p 50071:50071 \
-v /root/hadoop/nn/data/:/tmp/hdfs-root \
-v /root/hadoop/nn/etc/:/opt/hadoop-2.9.1/etc/hadoop \
-v /root/hadoop/nn/logs:/opt/hadoop-2.9.1/logs \
-v /root/hadoop/nn/etc/hosts:/etc/hosts hadoop2.9.1:v1.0 \
/opt/hadoop-2.9.1/bin/hdfs namenode -format
后启动namenode
docker run -d --rm --net dn0 --ip 172.16.0.2 -h master \
--name namenode -p 9001:9001 -p 50071:50071 \
-v /root/hadoop/nn/data/:/tmp/hdfs-root \
-v /root/hadoop/nn/etc/:/opt/hadoop-2.9.1/etc/hadoop \
-v /root/hadoop/nn/logs:/opt/hadoop-2.9.1/logs \
-v /root/hadoop/nn/etc/hosts:/etc/hosts hadoop2.9.1:v1.0 \
/opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start namenode
合并在一起：
docker run -d --rm --net dn0 --ip 172.16.0.2 -h master \
--name namenode -p 9001:9001 -p 50071:50071 \
-v /root/hadoop/nn/data/:/tmp/hdfs-root \
-v /root/hadoop/nn/etc/:/opt/hadoop-2.9.1/etc/hadoop \
-v /root/hadoop/nn/logs:/opt/hadoop-2.9.1/logs \
-v /root/hadoop/nn/etc/hosts:/etc/hosts oraclejdk1.8-hadoop2.9.1:latest \
sh -c "/opt/hadoop-2.9.1/bin/hdfs namenode -format && /opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start namenode"
3.1.1的启动命令修改为：
bin/hdfs --config .... namenode
bin/hdfs --config .... datanode
secondarynamenode
datanode
新增加的datanode保证其数据目录为空，不要与其他datanode有冲突。
配置文件中的主机名也应该是自己的主机名或者域名。例如：
<property>
<name>dfs.datanode.address</name>
<value>slave2:50011</value>
</property>
启动：
docker run -d --rm --net dn0 --ip 172.16.0.4 -h slave1 \
--name datanode1 -p 50011:50011 -p 50021:50021 -p 50076:50076 \
-v /root/hadoop/dn1/data/:/tmp/hdfs-root \
-v /root/hadoop/dn1/etc/:/opt/hadoop-2.9.1/etc/hadoop \
-v /root/hadoop/dn1/logs:/opt/hadoop-2.9.1/logs \
-v /root/hadoop/dn1/etc/hosts:/etc/hosts oraclejdk1.8-hadoop2.9.1:latest \
/opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start datanode
docker run -d --rm --net dn0 --ip 172.16.0.5 -h slave2 \
--name datanode2 -p 50012:50012 -p 50022:50022 -p 50077:50077 \
-v /root/hadoop/dn2/data/:/tmp/hdfs-root \
-v /root/hadoop/dn2/etc/:/opt/hadoop-2.9.1/etc/hadoop \
-v /root/hadoop/dn2/logs:/opt/hadoop-2.9.1/logs \
-v /root/hadoop/dn2/etc/hosts:/etc/hosts oraclejdk1.8-hadoop2.9.1:latest \
/opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start datanode
docker run -d --rm --net dn0 --ip 172.16.0.6 -h slave3 \
--name datanode3 -p 50013:50013 -p 50023:50023 -p 50078:50078 \
-v /root/hadoop/dn3/data/:/tmp/hdfs-root \
-v /root/hadoop/dn3/etc/:/opt/hadoop-2.9.1/etc/hadoop \
-v /root/hadoop/dn3/logs:/opt/hadoop-2.9.1/logs \
-v /root/hadoop/dn3/etc/hosts:/etc/hosts oraclejdk1.8-hadoop2.9.1:latest \
/opt/hadoop-2.9.1/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.1/etc/hadoop --script hdfs start datanode
上传文件
./hdfs dfs -fs hdfs://172.16.0.2:9001 -mkdir /user
./hdfs dfs -fs hdfs://172.16.0.2:9001 -mkdir /user/root
./hdfs dfs -fs hdfs://172.16.0.2:9001 -put hadoop input
在浏览器访问: http://master:50071 就可以看到namenode的管理界面了。
扩展一台datanode
复制以分datanode的配置文件。适当修改。
增加新节点的hosts，和其他节点的hosts。
启动新的节点。
查看文件块信息
./hdfs fsck -conf /root/hadoop/nn/etc/hdfs-site.xml -fs hdfs://172.16.0.2:9001 /user/root/hadoop-2.9.1.tar.gz -blocks
