通过前面几次的实验，大家已经基本熟悉Docker、Dockerfile、Docker Compose的相关操作，从本次实验开始，将结合此前相关课程内容，安排一些相关技术专题实践：
（1）使用Docker-compose实现Tomcat+Nginx负载均衡
要求：
理解nginx反向代理原理；
nginx代理tomcat集群，代理2个以上tomcat；
了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略；
参考资料：
Docker下Nginx+Tomcat实现负载均衡
使用docker-compose搭建反向代理nginx+tomcat页面
实战docker，构建nginx反向代理tomcat，学习link和docker-compose
nginx使用Upstream实现负载均衡
浅谈docker-compose网络设置之networks
一:
正向代理
正向代理服务器位于客户端和服务器之间，为了向服务器获取数据，客户端要向代理服务器发送一个请求，并指定目标服务器，代理服务器将目标服务器返回的数据转交给客户端。这里客户端是要进行一些正向代理的设置的。
反向代理
反向代理，其实客户端对代理是无感知的，因为客户端不需要任何配置就可以访问，我们只需要将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，在返回给客户端，此时反向代理服务器和目标服务器对外就是一个服务器，暴露的是代理服务器地址，隐藏了真实服务器IP地址。
二：
首先，从docker仓库中拉取nginx和tomcat镜像
docker pull nginx
docker pull tomcat
创建工程目录
然后编写nginx.conf和dockerfile_nginx
dockerfile_nginx
FROM docker.io/nginx
#使用的原镜像
ENV WORK_PATH /etc/nginx
#设置变量 WORK_PATH= /etc/nginx
WORKDIR /etc/nginx
#设置默认当前路径为/etc/nginx
ENV NGINX_FILE_CONF nginx.conf
#设置变量NGINX_FILE_CONF=nginx.conf
RUN rm $NGINX_FILE_CONF
#删除原有的nginx.conf文件
COPY nginx.conf .
#把目录下的 nginx.conf复制到容器当前
nginx.conf
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
#tcp_nopush on;
keepalive_timeout 65;
#gzip on;
#include /etc/nginx/conf.d/*.conf;
upstream tomcat_client {
server tomcat1:8080 weight=1;
server tomcat2:8080 weight=1;
server tomcat3:8080 weight=1;
}
server {
server_name "";
listen 80 default_server;
listen [::]:80 default_server ipv6only=on;
location / {
proxy_pass http://tomcat_client;
proxy_redirect default;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
}
}
}
编写docker-compose.yml
version: "3"
services:
tomcat1:
image: tomcat:latest
volumes:
- ./tomcat1/:/usr/local/tomcat/webapps/ROOT/
restart: "always"
container_name: tomcat1
tomcat2:
image: tomcat:latest
volumes:
- ./tomcat2/:/usr/local/tomcat/webapps/ROOT/
container_name: tomcat2
restart: "always"
tomcat3:
image: tomcat:latest
volumes:
- ./tomcat3/:/usr/local/tomcat/webapps/ROOT/
container_name: tomcat3
restart: "always"
nginx:
image: nginx:latest
volumes:
- ./nginx/nginx.conf:/etc/nginx/nginx.conf
ports:
- "80:80"
links:
- tomcat1:t1
- tomcat2:t2
- tomcat3:t3
运行docker-compose.yml
轮询策略（就是upstream默认的策略）
权重策略（修改nginx.conf，为t1，t2，t3选择合适的权重值，nginx会根据权重来选择访问的服务器，权重越高越优先）
可以看到tomcat3出现的次数明显更多
(2) 使用Docker-compose部署javaweb运行环境
要求：
分别构建tomcat、数据库等镜像服务；
成功部署Javaweb程序，包含简单的数据库操作；
为上述环境添加nginx反向代理服务，实现负载均衡。
工程目录
其中nginx与tomcat的配置几乎没变，这里就不贴出来了
dockerfile_mysql
FROM mysql:5.7
MAINTAINER wcx
WORKDIR /usr/local/
ENV MYSQL_ROOT_PASSWORD 123456
ENV MYSQL_ALLOW_EMPTY_PASSWORD no
COPY schema.sql /usr/local/
COPY setup.sh /usr/local/
RUN chmod a+x /usr/local/setup.sh
ENTRYPOINT ["/usr/local/setup.sh"]
EXPOSE 80
setup.sh
#!/bin/bash
set -e
#查看mysql服务的状态，方便调试，这条语句可以删除
echo `service mysql status`
echo '1.启动mysql....'
#启动mysql
service mysql start
sleep 3
echo `service mysql status`
echo '2.开始导入数据....'
#导入数据
mysql < /usr/local/schema.sql
echo '3.导入数据完毕....'
sleep 3
echo `service mysql status`
#sleep 3
echo `service mysql status`
echo `mysql容器启动完毕,且数据导入成功`
sleep 3
echo `重新启动mysql服务`
service mysql restart
tail -f /dev/null
schema.sql
CREATE database `testDatabase` default character set utf8 collate utf8_general_ci;
use testDatabase;
DROP TABLE IF EXISTS testTable;
CREATE TABLE testTable(
`id` varchar(20) UNIQUE,
`name` varchar(10) NOT NULL,
`sex` varchar(1) NOT NULL,
PRIMARY KEY (`id`)
)ENGINE=InnoDB DEFAULT CHARSET=latin1;
INSERT INTO testTable
VALUES
('1','testname','m'),('2','test1','w');
docker-compose.yml
version: '2'
services:
mysql:
image: mysqlimage
container_name: mysqlimage
build:
context: ./mysql/
dockerfile: dockerfile_mysql
volumes:
- ./mysql:/usr/local/
restart: always
tomcat1:
image: tomcat:latest
volumes:
- ./tomcat1/:/usr/local/tomcat/webapps/
restart: "always"
container_name: tomcat1
links:
- mysql:mysql
tomcat2:
image: tomcat:latest
volumes:
- ./tomcat2/:/usr/local/tomcat/webapps/
links:
- mysql:mysql
container_name: tomcat2
restart: "always"
tomcat3:
image: tomcat:latest
volumes:
- ./tomcat3/:/usr/local/tomcat/webapps/
links:
- mysql:mysql
container_name: tomcat3
restart: "always"
nginx:
image: nginx
build:
context: ./nginx
dockerfile: dockerfile_nginx
volumes:
- ./nginx/nginx.conf:/etc/nginx/nginx.conf
ports:
- "80:80"
links:
- tomcat1:t1
- tomcat2:t2
- tomcat3:t3
增加数据
更新数据
删除数据
参考资料：
使用docker-compose部署Javaweb项目
手把手搭建javaweb项目，适合新手
tomcat+nginx-mysql
（3）使用Docker搭建大数据集群环境
直接用机器搭建Hadoop集群，会因为不同机器配置等的差异，遇到各种各样的问题；也可以尝试用多个虚拟机搭建，但是这样对计算机的性能要求比较高，通常无法负载足够的节点数；使用Docker搭建Hadoop集群，将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。
要求：
完成hadoop分布式集群环境配置，至少包含三个节点（一个master，两个slave）；
成功运行hadoop 自带的测试实例。
一、构建ubuntu：hadoop
工程目录
dockerfile
FROM ubuntu:18.04
MAINTAINER wcx
COPY hadoop.zip /usr/local/
COPY sources.list /etc/apt/
RUN apt-get update && apt-get install -y \
vim \
openjdk-8-jdk \
ssh
EXPOSE 80
source.list是国内源文件
hadoop.zip是hadoop3.1.3的压缩包
使用docker build -t ubuntu:hadoop .构建镜像
docker build -t ubuntu:hadoop .
进入ubuntu:hadoop镜像
docker run -it ubuntu:hadoop /bin/bash
在该镜像中解压/usr/local/hadoop.zip(apt-get install unzip)
unzip hadoop.zip
配置java,hadoop的环境变量
vim ~/.bashrc
添加如下代码
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin
然后source ~/.bashrc使之生效
检验hadoop和java
配置ssh免密登陆
ssh-keygen -t rsa # 一直按回车即可
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
输入ssh localhost验证一下
此时可以进入到下一个阶段：hadoop文件配置
首先进入hadoop/etc/hadoop
配置hadoop-env
配置core-site.xml
在
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
配置hdfs-site.xml
在
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
配置mapred-site.xml
在
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
配置yarn-site.xml
操作同上
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.5</value>
</property>
进入hadoop脚本目录(sbin)
配置start-dfs.sh 和stop-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USR=root
HDFS_SECONDARYNAMENODE_USER=root
配置start-yarn.sh和stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
退出容器，接着用该容器构建新的镜像ubuntu-hadoop
docker commit 容器ID 新镜像名
运行三个终端，
docker run -it -h 主机名 --name 容器名 镜像名
查看三个主机的ip地址
sudo docker inspect --format='{{.NetworkSettings.IPAddress}}' 名字
进入master容器，配置/usr/local/hadoop/etc/hadoop/workers（将localhost删去，改为slave1和slave2）
分别对三个主机的/etc/hosts进行修改，添加如下内容
172.17.0.2 master
172.17.0.3 slave1
172.17.0.4 slave2
互相ssh测试
差不多就能确定可以互相登陆
进入master主机，初始化namenode等
hdfs namenode -format #初始化namenode
start-dfs.sh #启动HDFS
start-yarn.sh #启动YARN
到此hdfs完全分布式环境已搭建完毕
运行案例grep
在master上执行如下命令
hdfs dfs -mkdir -p /user/root/input #新建input文件夹
hdfs dfs -put /usr/local/hadoop/etc/hadoop/*s-site.xml input #将部分文件放入input文件夹
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+' #运行示例程序grep
hdfs dfs -cat output/*
参考资料：
Hadoop 参考文档
使用Docker搭建Hadoop分布式集群
(4)遇到的问题
这个是因为在nginx的配置项extnetwork:中的ipv4_address的' : '后没加空格，属于格式问题
2.
这个是因为没用sudo执行docker-compose命令
首先，查看docker images和docker container ，发现mysql镜像已经成功创建，而相应容器却仍停留在created状态，说明容器虽能创建成功，却无法启动。
尝试进入该容器，成功。检查要上传的文件（setup.sh等），发现已存在在该容器中。尝试手动在该容器中运行setup.sh，发现schema.sql中存在语法问题。修正schema.sql，重新compose up，却依旧是出现同样的错误。经老师与同学的帮助，在dockrfile中用ENTRYPOINT命令代替CMD命令为setup.sh赋予权限，并在本地也赋予setup.sh的权限。再次compose up，容器启动成功。但当进入mysql容器时，每次都会执行setup.sh，且执行完无响应，即无法进入容器的命令行界面。于是猜测是setup.sh的问题，经过尝试，在setup.sh中增加一句service mysql restart后容器运行正常。（不是很懂这个，有知道的大佬可以评论一下咩╮(╯_╰)╭）
又是这个。。。这个是因为master节点执行了多次hdfs namenode -format导致clusterID与slave1和slave2的不同，因此打开master的hdfs-site.xml文件查看namenode的存放文件，再进入该文件中，找到current/VESION,cat一下，复制里面的clusterID，然后进入slave节点，同上找到datanode的存放目录，找到current/VERSION,将里面的clusterID改为master的clusterID后，执行stop-dfs.sh等命令重启hdfs集群，再重新建立相应的输入输出文件夹，执行测试程序，便可成功运行。
5.
执行测试程序时界面卡在Job running这句。
解决方法：
将mapred-site.xml中的
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
替换为
<property>
<name>mapreduce.job.tracker</name>
<value>hdfs://此处为自己的电脑IP:8001</value>
<final>true</final>
</property>
替换后程序运行飞快，很流畅。
