通过 docker-compose 快速部署 Hadoop 集群极简教程
前面那篇文章内容过多,可能小伙伴只是想快速部署,所以这里出了一个极简的部署教程,如果想了解详细部署过程,可以建议参考我上一篇的文章:通过 docker-compose 快速部署 Hadoop 集群详细教程
1)安装 docker
# 安装yum-config-manager配置工具
yum -y install yum-utils
# 建议使用阿里云yum源:(推荐)
#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装docker-ce版本
yum install -y docker-ce
# 启动并开机启动
systemctl enable --now docker
docker --version
2)安装 docker-compose
curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
docker-compose --version
3)安装 git
yum -y install git
4)Hadoop 部署(非高可用)
git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git
cd docker-compose-hadoop/hadoop
# 开始部署
# 这里-f docker-compose.yaml可以省略,如果文件名不是docker-compose.yaml就不能省略,-d 后台执行
docker-compose -f docker-compose.yaml up -d
# 查看部署状态
docker-compose -f docker-compose.yaml ps
HDFS:http://ip:30070/
YARN:http://ip:30070/
5)Hadoop HA 部署(高可用)
# 如已下载可以忽略执行下载命令
git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git
cd docker-compose-hadoop/hadoop-ha
# 开始部署
# 这里-f docker-compose.yaml可以省略,如果文件名不是docker-compose.yaml就不能省略,-d 后台执行
docker-compose -f docker-compose.yaml up -d
# 查看部署状态
docker-compose -f docker-compose.yaml ps
HDFS:http://ip:30070
、http://ip:30071
YARN:http://ip:30888
、http://ip:30889
上面只是快速部署的操作,如需详细教程,可关注我的公众号【大数据与云原生技术分享】,在公众号号里回复 dch
即可获取完整版教程~