2020系统综合实践 第4次实践作业
一、使用Docker-compose实现Tomcat+Nginx负载均衡
- nginx正向代理原理
- 正向代理，"它代理的是客户端"，是一个位于客户端和原始服务器(origin server)之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。
- nginx反向代理原理
- 反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器（原始服务器对于客户端是透明的）。而正向代理（Forward Proxy），客户端请求时要指定原始服务器，代理再向原始服务器转交请求并将获得的内容返回给客户端。
- 参考资料：
Nginx 配置详解
Nginx服务器之负载均衡策略 - ngix代理tomcat集群，代理两个以上tomcat
1、创建如下结构
2、编辑各类文件
docker-compose.yml
version: "3.8"
services:
nginx:
image: nginx
container_name: tn_nginx
ports:
- 8080:80
volumes:
- ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
depends_on:
- tomcat01
- tomcat02
- tomcat03
tomcat01:
hostname: tomcat01
image: tomcat
container_name: tomcat1
volumes:
- ./webapps:/usr/local/tomcat/webapps/ROOT # 挂载web目录
tomcat02:
hostname: tomcat02
image: tomcat
container_name: tomcat2
volumes:
- ./webapps:/usr/local/tomcat/webapps/ROOT # 挂载web目录
tomcat03:
hostname: tomcat03
image: tomcat
container_name: tomcat3
volumes:
- ./webapps:/usr/local/tomcat/webapps/ROOT # 挂载web目录
default.conf
upstream tomcats {
server tomcat1:8080 max_fails=3 fail_timeout=30s;
server tomcat2:8080 max_fails=3 fail_timeout=30s;
server tomcat3:8080 max_fails=3 fail_timeout=30s;
}
server {
listen 80;
server_name localhost server;
location / {
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_pass http://tomcats;
proxy_redirect off;
}
}
index.jsp
<%@ page language="java" contentType="text/html; charset=utf-8" import="java.net.InetAddress"
pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<title>Nginx+Tomcat负载均衡</title>
</head>
<body>
<%
InetAddress addr = InetAddress.getLocalHost();
out.println("主机名："+addr.getHostName());
%>
</body>
</html>
browse.sh
for((i=1;i<=15;i++));
do
content=$(curl -s localhost:8080);
echo ${content#*<body>};
done
3、运行docker-compose构建容器
4、负载均衡配置
- 在不修改配置文件的情况下，默认为轮询访问，即三个tomcat轮流访问
-
修改default.conf中的upstream为如下
```nginx upstream tomcats { server tomcat1:8080 weight=1 max_fails=3 fail_timeout=30s; server tomcat2:8080 weight=2 max_fails=3 fail_timeout=30s; server tomcat3:8080 weight=3 max_fails=3 fail_timeout=30s; } ```
再执行browse.sh
这时应权重改变，访问概率变为tomcat3 > tomcat2 > tomcat1
二、使用Docker-compose部署javaweb运行环境
参考链接：老师推荐
项目结构如下：
- 新增文件default.conf
default.conf
upstream tomcat123 {
server tomcat00:8080;
}
server {
listen 8080;
server_name localhost;
location / {
proxy_pass http://tomcat123;
}
}
- 修改文件docker-compose.yml
docker-compose.yml
version: "3" #版本
services: #服务节点
tomcat: #tomcat 服务
image: tomcat #镜像
hostname: hostname #容器的主机名
container_name: tomcat00 #容器名
ports: #端口
- "5050:8080"
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
- ./wait-for-it.sh:/wait-for-it.sh
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.15
mymysql: #mymysql服务
build: . #通过MySQL的Dockerfile文件构建MySQL
image: mymysql:test
container_name: mymysql
ports:
- "3309:3306"
#红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
#service mysql stop
#反之，将3306换成其它的
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_unicode_ci'
]
environment:
MYSQL_ROOT_PASSWORD: "123456"
networks:
webnet:
ipv4_address: 15.22.0.6
nginx:
image: nginx
container_name: "nginx-tomcat"
ports:
- 8080:8080
volumes:
- ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
tty: true
stdin_open: true
networks:
webnet:
ipv4_address: 15.22.0.7
networks: #网络设置
webnet:
driver: bridge #网桥模式
ipam:
config:
-
subnet: 15.22.0.0/24 #子网
- 其余文件无需修改
修改连接的ip和端口
- ifconfig -a命令查看ip地址
- 在 /webapps/ssmgrogshop_war/WEB-INF/classes/jdbc.properties 修改ip和端口
启动容器
docker-compose up -d
二选一打开网址
http://127.0.0.1:8080/ssmgrogshop_war
http://主机ip地址:8080/ssmgrogshop_war
浏览结果
-
进入可以进行数据库操作
-
修改nginx配置文件，反向代理tomcat
upstream tomcats {
server tomcat00:5050;
server tomcat00:5051;
server tomcat00:5052;
}
- 修改yml文件
tomcat01:
image: tomcat
hostname: hostname
container_name: tomcat01
ports:
- "5051:8080" #后面访问网页的时候要选择对应的端口号5050
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
- ./wait-for-it.sh:/wait-for-it.sh
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.16
tomcat02:
image: tomcat
hostname: hostname
container_name: tomcat02
ports:
- "5052:8080" #后面访问网页的时候要选择对应的端口号5050
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
- ./wait-for-it.sh:/wait-for-it.sh
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.17
nginx:
depends_on:
- tomcat00
- tomcat01
- tomcat02
重新运行容器，可以发现在三个端口下都可以进行访问
三、使用Docker搭建大数据集群环境
1.拉取ubuntu镜像
创建目录，用于向Docker内部的Ubuntu系统传输文件
docker pull ubuntu
cd ~
mkdir build
sudo docker run -it -v /home/ubuntu/build:/root/build --name ubuntu ubuntu
创建并运行容器
2.初始化Ubuntu容器
-
进入容器中换源
cat<<EOF>/etc/apt/sources.list
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF
apt-get update && apt-get install vim && apt-get install ssh
vim ~/.bashrc
/etc/init.d/ssh start #在该文件中最后一行添加如下内容
3.配置sshd
cd ~/.ssh
ssh-keygen -t rsa #一直回车
cat id_rsa.pub >> authorized_keys
ssh localhost #测试免密登录
4.安装JDK
apt-get install openjdk-8-jdk
vim ~/.bashrc # 在文件末尾添加以下两行，配置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc #使.bashrc生效
java -version #验证java
5.保存镜像文件
#另开一个终端
sudo docker commit c52 ubuntu:jdk8
sudo docker run -it -v /home/ubuntu/build:/root/build --name ubuntu-jdk8 ubuntu:jdk8
#保存镜像ubuntu:jdk8
6.安装Hadoop
cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local #将hadoop压缩包放入本地build文件夹中
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装
7.配置Hadoop集群
hadoop-env.sh
cd /usr/local/hadoop-3.1.3/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ #末尾加入
修改/usr/local/hadoop/etc/hadoop下的文件
-
core-site.xml
<?xml version="1.0" encoding="UTF-8" ?> <?xml-stylesheet type="text/xsl" href="configuration.xsl" ?> <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop-3.1.3/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration> -
hdfs-site.xml
<?xml version="1.0" encoding="UTF-8" ?> <?xml-stylesheet type="text/xsl" href="configuration.xsl" ?> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value> </property> <property> <name>dfs.permissions.enabled</name> <value>false</value> </property> </configuration> -
mapred-site.xml
<?xml version="1.0" ?> <?xml-stylesheet type="text/xsl" href="configuration.xsl" ?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value> </property> <property> <name>mapreduce.map.env</name> <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value> </property> <property> <name>mapreduce.reduce.env</name> <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value> </property> </configuration> -
yarn-site.xml
<?xml version="1.0" ?> <configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>Master</value> </property> <!--虚拟内存和物理内存比，不加这个模块程序可能跑不起来--> <property> <name>yarn.nodemanager.vmem-pmem-ratio</name> <value>2.5</value> </property> </configuration> -
进入脚本目录
cd /usr/local/hadoop-3.1.3/sbin
- 对于start-dfs.sh和stop-dfs.sh文件，添加下列参数
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
- 对于start-yarn.sh和stop-yarn.sh，添加下列参数
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
8.运行Hadoop集群
保存镜像
sudo docker commit c53 ubuntu/hadoopinstalled
从三个终端分别开启三个容器运行ubuntu/hadoop镜像
# 第一个终端
sudo docker run -it -h master --name master ubuntu/hadoop
# 第二个终端
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoop
# 第三个终端
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoop
三个终端分别打开/etc/hosts,根据各自ip修改为如下形式
cat /etc/hosts
172.17.0.5 master
172.17.0.6 slave01
172.17.0.7 slave02
在master结点测试ssh；连接到slave结点
ssh slave01
ssh slave02
exit 退出
修改master上workers文件；将localhost修改为如下所示
vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02
9.测试Hadoop集群
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format #首次启动Hadoop需要格式化
sbin/start-all.sh #启动所有服务
-
使用jps查看三个终端，如图所示
-
建立HDFS文件夹
./bin/hdfs dfs -mkdir -p /user/root/input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input
./bin/hdfs dfs -ls /user/root/input
-
执行实例程序
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+' -
获取输出内容
hdfs dfs -cat output/*
-
停止所有服务
sbin/stop-all.sh
四、小结
1、主要问题和解决方法
问题一：使用browse.sh时出现:Syntax error: Bad for loop variable的错误
解决方法：从 ubuntu 6.10 开始，ubuntu 就将先前默认的bash shell 更换成了dash shell；
其表现为 /bin/sh 链接倒了/bin/dash而不是传统的/bin/bash。
ubuntu edgy是第一个将dash作为默认shell来发行的版本，这似乎是受了debian的影响。
wiki 里面有官方的解释，https://wiki.ubuntu.com/DashAsBinSh，主要原因是dash更小，运行更快，还与POSIX兼容。
但目前存在的问题是，由于shell的更换，致使很多脚本出错，毕竟现在的很多脚本不是100%POSIX兼容。
将默认的shell改回bash的方法为：在终端执行 sudo dpkg-reconfigure dash，然后选择no。
问题二：在执行apt-get install ssh的时候出现问题
解决方法：源的问题，先换源，这里推荐换阿里源，然后再更新就好了。
问题三：hadoop配置文件问题，以及多次初始化导致无节点的问题。
解决方法：百度了方法说是吧data和name里面的文件删掉，或者说使两者的current文件下的id改为一致
，我没试成功，就按照存储好的镜像重做了，感觉重试更快，也就十来分钟。
配置文件的问题就一开始按照网上的配置文件写，发现有一定的错误，问了同学和参考了大数据的配置文件即可。
2、经验和感想+花费时间
实验看似不难，操作起来小错误真的一大堆，有的错误莫名其妙，而且耗费大量时间有时候也无法解决，所以需要很大的耐心。这次实验感觉难度还是有的，主要就是要一步一步慢慢来的同时加以理解，并且理解完后先充分理解后几步的操作和之间的联系，最后先全都理解再开始做，不懂的情况下盲目操作很容易出错。带着细心，耐心和理解去完成实验，才是最有效率的方法。这次实验虽然耗费一定的时间，也让我学到了很多关于部署环境的知识，受益匪浅。
| 项目 | 时间（估算） |
|---|---|
| Tomcat+Nginx负载均衡 | 3h |
| 部署javaweb运行环境 | 4h |
| 用Docker搭建大数据集群环境 | 5h |
| 写博客 | 2h |
| 总计 | 14h |
