通过docker快速搭建hadoop集群

目标：

没有过多的配置，创建一个可以使用的hadoop集群。

docker运行在ubuntu16.10上

在windows下编写代码可以提交任务到hadoop中

1. 配置网络

docker network create --driver=bridge hadoop

2. 拉取镜像 自动化脚本

docker pull kiwenlau/hadoop:1.0

git clone https://github.com/kiwenlau/hadoop-cluster-docker

3. 启动docker后会自动进入容器

cd hadoop-cluster-docker

sudo ./start-container.sh

4. 启动hadoop 运行测试用例

./start-hadoop.sh

./run-wordcount.sh

设置本地访问到hadoop集群

进入容器后， 使用ip a得到IP地址为172.18.0.2

docker 的宿主机IP为192.168.131.128

为了使windows环境下可以访问172.18.0.2

在windows上使用如下命令添加静态路由

route -p add 172.18.0.0 mask 255.255.0.0 192.168.131.128