阿里云容器镜像服务使用文档

版本介绍

版本	说明
hadoop-1.3	Hadoop单机镜像，快速搭建一套Hadoop单机环境，亦可起多个容器稍作修改配置高可用集群
hadoop-1.4	以hadoop单机环境为基础镜像，安装了Hive数据仓库，并适配了Iceberg，开箱即用
hadoop-1.5	以hadoop单机环境为基础镜像，安装了Spark框架，开箱即用

hadoop-1.3版本要做以下步骤

Windows主机需要做以下步骤：

配置hosts文件映射 并刷新 ipconfig /flushdns

192.168.195.128（CentOS宿主机IP）		hadoop

CentOS宿主机需要做以下步骤：

• 安装docker环境

  • 拉取镜像

  - -  yum install -y docker
    -  docker --version
    -  vim /etc/docker/daemon.json
    -  {"registry-mirrors": ["https://d8b3zdiw.mirror.aliyuncs.com"]}
    -  systemctl  restart docker
    - docker pull 675361896/hadoop:tagname
  

• 运行镜像

  docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 --name hadoop --user root  921cad23e02d /usr/sbin/init
  

• 进入镜像后的操作

  - source /etc/profile
  - /usr/local/hadoop-3.2.4/sbin/start-all.sh
  

  Web 端查看 HDFS 的 NameNode：http://CentOS宿主机IP:9870

  Web 端查看 YARN 的 ResourceManager：http://CentOS宿主机IP:8088

hadoop-1.4版本要做以下步骤

1，重复hadoop-1.3的步骤
启动容器增加暴露Hive相关的端口

docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 --name iceberg --user root  921cad23e02d /usr/sbin/init

2，开启hive服务

# 启动hive的元数据服务
./hive --service metastore &
# 启动server
./hive --service hiveserver2 -hiveconf hive.server2.thrift.port=10000 &
# 初始化元数据
schematool --initSchema -dbType derby
# 连接hive服务
./beeline -u jdbc:hive2://hadoop:10000 -n root

Web 端查看 Hive 的 Home页面：http://CentOS宿主机IP:10002

hadoop-1.5版本要做以下步骤

1，重复hadoop-1.3的步骤

启动容器增加暴露Spark相关的端口

docker run -itd --privileged --hostname hadoop  -p9870:9870 -p8088:8088 -p8020:8020 -p9868:9868 -p19888:19888 -p9864:9864 -p9083:9083 -p10000:10000 -p10002:10002 -p4040:4040 --name iceberg --user root  921cad23e02d /usr/sbin/init

2，启动pyspark服务

/usr/local/spark/bin/pyspark

Web 端查看 Spark的Driver/Executer状态：http://CentOS宿主机IP:4040