2020系统综合实践 第4次实践作业
使用Docker-compose实现Tomcat+Nginx负载均衡
(1)理解反向代理原理
总结起来就是一句话：正向代理代理客户端，反向代理代理服务器
(2)nginx代理tomcat集群，代理2个以上tomcat；
参考资料
文件结构
编写default.conf
user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
#tcp_nopush on;
keepalive_timeout 65;
#gzip on;
#include /etc/nginx/conf.d/*.conf;
upstream tomcat_client {
server t01:8080 ;
server t02:8080 ;
}
server {
server_name "";
listen 80 default_server;
listen [::]:80 default_server ipv6only=on;
location / {
proxy_pass http://tomcat_client;
proxy_redirect default;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
}
}
}
编写docker-compose.yml
version: "3"
services:
tomcat001:
image: tomcat:8.5.0
ports:
- "8083:8080"
restart: "always"
container_name: tomcat001
volumes:
- ./tomcat1:/usr/local/tomcat/webapps/ROOT
tomcat002:
image: tomcat:8.5.0
ports:
- "8082:8080"
container_name: tomcat002
restart: "always"
volumes:
- ./tomcat2:/usr/local/tomcat/webapps/ROOT
nginx:
image: nginx
volumes:
- ./nginx/default.conf:/etc/nginx/nginx.conf
ports:
- "81:80"
links:
- tomcat001:t01
- tomcat002:t02
两个tomcat的html文件
tomcat1
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>tomcat</title>
</head>
<body>
<h1>This is tomcat NO.1</h1>
</body>
</html>
tomcat2
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>tomcat</title>
</head>
<body>
<h1>This is tomcat NO.2</h1>
</body>
</html>
构建
sudo docker-compose up -d --build
测试(默认负载均衡是轮询，两个不同页面会轮流出现)
(3)了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略；
轮询策略:每个服务器轮流提供服务
这是默认策略，直接测试就好了
访问100次，观察两种页面出现的顺序关系和次数统计
由于抓取的是网页的源代码，如果直接输出源代码不利于观察，所以算法的思路就是识别和统计这两种不同的源代码，并将一个网页标记为page1，另一个标记为page2
权重策略:每个服务器以正比于其权重的概率被访问
修改default.conf
upstream tomcat_client {
server t01:8080 weight=3;
server t02:8080 weight=1;
}
访问10000次，统计两种不同页面出现的次数(我本来以为结果会是接近3:1，没想到会是刚刚好的3:1，试了几次都是这样)
使用Docker-compose部署javaweb运行环境
(1)分别构建tomcat、数据库等镜像服务；
(2)成功部署Javaweb程序，包含简单的数据库操作；
(3)为上述环境添加nginx反向代理服务，实现负载均衡。
鉴于javaweb学习成本太高和一周4个实验课的压力，最终选择使用参考链接中的项目。
文件结构
其中wait-for-it.sh参考这里
配置文件
docker-compose.yml
version: "3"
services:
tomcat00:
image: tomcat
hostname: hostname
container_name: tomcat00
ports:
- "5050:8080" #后面访问网页的时候要选择对应的端口号5050
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
- ./wait-for-it.sh:/wait-for-it.sh
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.15
mymysql: #mymysql服务
build: . #通过MySQL的Dockerfile文件构建MySQL
image: mymysql:test
container_name: mymysql
ports:
- "3309:3306"
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_unicode_ci'
]
environment:
MYSQL_ROOT_PASSWORD: "123456"
networks:
webnet:
ipv4_address: 15.22.0.6
nginx:
image: nginx
container_name: "nginx-tomcat"
ports:
- 8080:8080
volumes:
- ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
tty: true
stdin_open: true
networks:
webnet:
ipv4_address: 15.22.0.7
networks: #网络设置
webnet:
driver: bridge #网桥模式
ipam:
config:
-
subnet: 15.22.0.0/24 #子网
default.conf
upstream tomcats {
server tomcat00:5050;
}
server {
listen 8080
server_name localhost;
location / {
proxy_pass http://tomcat123;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
docker-entrypoint.sh
#!/bin/bash
mysql -uroot -p123456 << EOF
source /usr/local/grogshop.sql;
Dockerfile
# 这个是构建MySQL的dockerfile
FROM registry.saas.hand-china.com/tools/mysql:5.7.17
# mysql的工作位置
ENV WORK_PATH /usr/local/
# 定义会被容器自动执行的目录
ENV AUTO_RUN_DIR /docker-entrypoint-initdb.d
#复制gropshop.sql到/usr/local
COPY grogshop.sql /usr/local/
#把要执行的shell文件放到/docker-entrypoint-initdb.d/目录下，容器会自动执行这个shell
COPY docker-entrypoint.sh $AUTO_RUN_DIR/
#给执行文件增加可执行权限
RUN chmod a+x $AUTO_RUN_DIR/docker-entrypoint.sh
# 设置容器启动时执行的命令
#CMD ["sh", "/docker-entrypoint-initdb.d/import.sh"]
修改连接数据库的ip为本机ip
cd /home/tinor/lzz/webapps/ssmgrogshop_war/WEB-INF/classes
vim jdbc.properties
构建并且启动容器
docker-compose up -d --build
访问网页并测试数据库操作
localhost:5050/ssmgrogshop_war
以新增商品为例,新增一个酸奶，对于数据库的增加操作
删除娃哈哈和雪碧
修改可乐价格
修改以下文件，实现反向代理
default.conf
upstream tomcat123 {
server tomcat00:8080;
}
server {
listen 8080;
server_name localhost;
location / {
proxy_pass http://tomcat123;
}
}
yml文件
version: "3" #版本
services: #服务节点
tomcat: #tomcat 服务
image: tomcat #镜像
hostname: hostname #容器的主机名
container_name: tomcat00 #容器名
ports: #端口
- "5050:8080"
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
- ./wait-for-it.sh:/wait-for-it.sh
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.15
mymysql: #mymysql服务
build: . #通过MySQL的Dockerfile文件构建MySQL
image: mymysql:test
container_name: mymysql
ports:
- "3309:3306"
#红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
#service mysql stop
#反之，将3306换成其它的
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_unicode_ci'
]
environment:
MYSQL_ROOT_PASSWORD: "123456"
networks:
webnet:
ipv4_address: 15.22.0.6
nginx:
image: nginx
container_name: "nginx-tomcat"
ports:
- 8080:8080
volumes:
- ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
tty: true
stdin_open: true
networks:
webnet:
ipv4_address: 15.22.0.7
networks: #网络设置
webnet:
driver: bridge #网桥模式
ipam:
config:
-
subnet: 15.22.0.0/24 #子网
Dockerfile不用修改
重新构建和启动容器即可。
通过8080端口访问nginx服务器
可以看到实际访问到的网页是tomcat服务器中的项目，说明反向代理成功了
使用Docker搭建大数据集群环境
(1)hadoop分布式集群环境配置，至少包含三个节点（一个master，两个slave）；
在docker安装ubuntu系统
docker pull ubuntu
安装完成后，在启动Ubuntu镜像时，需要先在个人文件下创建一个目录，用于向Docker内部的Ubuntu系统传输文件；然后再在Docker上运行Ubuntu系统；
-v 表示docker内部的ubuntu系统/root/build目录与本地/home/tinor/build共享；这可以很方便将本地文件上传到Docker内部的Ubuntu系统；
mkdir build
docker run -it -v /home/tinor/build:/root/build --name ubuntu ubuntu
Ubuntu系统初始化
刚安装好的Ubuntu系统，是一个很纯净的系统，很多软件是没有安装的，所以我们需要先更新下Ubuntu系统的源以及安装一些必备的软件；
以下操作在ubuntu容器内进行
更新系统软件源
apt-get update
安装vim和sshd
apt-get install vim
apt-get install ssh #在开启分布式Hadoop时，需要用到ssh连接slave
开启sshd服务器
/etc/init.d/ssh start
把这启动命令写进~/.bashrc文件，这样我们每次登录Ubuntu系统时，都能自动启动sshd服务
vim ~/.bashrc
在该文件中最后一行添加如下内容：
/etc/init.d/ssh start
配置sshd
安装好sshd之后，我们需要配置ssh无密码连接本地sshd服务，如下命令:
cd ~/.ssh
ssh-keygen -t rsa #一直按回车键即可
cat id_rsa.pub >> authorized_keys
接下来使用的安装方法是大数据实验课程的方法
先准备好jdk和hadoop的安装包（安装包是大数据的老师提供的，直接粘贴到虚拟机里就行了）
安装JDK
在/usr/lib 目录下新建文件夹jvm，将JDK安装包解压到该文件夹下。
tar -zxvf /root/build/jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
jdk环境变量配置
vim打开用户环境变量配置文件即用户主目录下的.bashrc文件，添加如下环境变量；
vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
用 source ~/.bashrc命令使之生效。在任意目录下查看 Java 版本号 或执行java 命令出现如下提示则表示 JDK 环境配置成功。
安装Hadoop
把下载下来的Hadoop安装文件放到共享目录/home/tinor/build下面，然后在Docker内部Ubuntu系统的/root/build目录即可获取到Hadoop安装文件；
cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local #大数据实验课用的是3.1.3版本，刚好拿过来用
Hadoop环境变量配置（将上面的环境变量修改为如下，是修改不是追加）
vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/hadoop-3.1.3
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin
执行hadoop version 命令测试环境变量是否配置成功，配置成功则显示如下版本信息。
配置Hadoop集群
进入配置文件存放目录
cd /usr/local/hadoop-3.1.3/etc/hadoop
配置hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
配置workers
slave01
slave02
配置core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<!--hdfs://host:port-->
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
</configuration>
配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
</property>
</configuration>
配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
</property>
</configuration>
配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.5</value>
</property>
</configuration>
emmm 在这个位置其实应该还有一步修改脚本的操作，第一次做到这里的时候没有修改脚本，导致出现错误，所以修改脚本的操作就放在问题4了。
保存这个镜像，在其他终端输入如下命令:
docker commit [容器id] ubuntu/hadoopinstalled
在三个终端上开启三个容器运行ubuntu/hadoopinstalled镜像，分别表示Hadoop集群中的master,slave01和slave02；
# 第一个终端
docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二个终端
docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三个终端
docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled
接着配置master,slave01和slave02的地址信息，这样他们才能找到彼此，分别打开/etc/hosts可以查看本机的ip和主机名信息,最后得到三个ip和主机地址信息如下:
172.17.0.2 master
172.17.0.3 slave01
172.17.0.4 slave02
最后把上述三个地址信息分别复制到master,slave01和slave02的/etc/hosts即可
我们可以用如下命令来检测下是否master是否可以连上slave01和slave02
ssh slave01
ssh slave02
在master终端上，运行如下命令开启hadoop集群:
cd /usr/local/hadoop-3.1.3
hdfs namenode -format #格式化
start-dfs.sh #启动 HDFS
start-yarn.sh #启动 YARN
mapred --daemon start historyserver #启动 Job History Server
第二条命令执行后要在输出中找到这样的提示才算成功
这时Hadoop集群就已经开启，我们可以在master,slave01和slave02上分别运行命令jps查看运行结果;
用hdfs dfsadmin –report 查看信息，Live datanodes 不为 0 表示数据节点正常启动。
(2)运行hadoop自带的测试实例
准备输入文件夹和输入文件
cd /usr/local/hadoop-3.1.3
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/tinor
hdfs dfs -mkdir /user/tinor/input
hdfs dfs -put etc/hadoop/*.xml /user/tinor/input #将xml复制到input下，作为输入文件
运行grep实例程序:
hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /user/tinor/input /user/tinor/output 'dfs[a-z.]+'
查看输出结果：
hdfs dfs -cat /user/tinor/output/*
(4)实验报告
遇到的问题
问题1：
解决：
要注意自己的文件路径和教程可能不一样
问题2：
解决：回看博客前面的内容，发现自己把公钥放错地方了
问题3：
这是一个很坑爹的问题，当我把hadoop环境安装好之后，也保存了镜像，这时候系统提示存储空间不足了，然后我看到这个镜像2G左右大小，然后想到等一下得要开启3个容器，这个虚拟机只分配了4G内存，估计不够用，于是关机多分配一些内容，然后重新启动的时候就进不去了。
解决：
我想到那个存储空间不足的提示，大概是存储空间被挤爆了然后开机的时候出现问题，于是去找度娘，找到了一个靠谱的博客（忘记记下地址了，现在找不到了），大概意思就是按ctrl+Alt+F2可以进入终端，然后用命令行删掉一些文件，用df-l查看磁盘用量，等删到磁盘空间用量小于100%的时候就可以开机了。
问题4：
解决：查询了百度，找到如下方案
在Hadoop安装目录下找到sbin文件夹
在里面修改四个文件
1、对于start-dfs.sh和stop-dfs.sh文件，添加下列参数：
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
2、对于start-yarn.sh和stop-yarn.sh文件，添加下列参数：
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
问题5：两个slave节点都没有datanode
解决：
这个问题做大数据实验的时候就遇到了，没想到这次又遇到了，跟当时一样，用百度的方法解决没有用，最后还是返工重新配置一遍结果就好了，历史总是惊人的相似...
PS：返工是从开启三个容器那一步开始的。
后来看到群里在讨论这个问题，所以就把老师和同学的回答码在这里
多次格式化导致ClusterID不一致等问题？
第一种解决方法是删除安装目录下的tmp文件夹后重新格式化；
第二种解决方法是打开${HADOOP_HOME}/tmp/dfs/name/current/VERSION和${HADOOP_HOME}/tmp/dfs/data/current/VERSION将两个文件里的clusterID设置为一致。
问题6：不会javaweb开发
解决：尝试学习javaweb，但是学习成本太高，又加上每周要做4个实验，最后还是选择向参考项目屈服。
经验和感想
这次的实验量明显比之前的大，难度也更高。之前的几次实验都是一直参考其他同学的做法，做得都比较顺利，但是做完会有一种很空虚的感觉，于是这次我一开始就不打算去借鉴其他同学的博客，很早就开始自己动手做，这才发现自己动手做是真的不容易，跌跌撞撞会遇到好多问题，而且每次解决都要花好多时间，最终实验一和实验三是自己独立做完的，实验二由于实在没时间学javaweb就用了参考项目，也参考了其他同学的做法。最后的感想就是自己独立完成的话真的很痛苦，但是也能明显感觉到自己对问题的理解更加透彻，对知识和技能掌握得会更好一些。
耗时
第一个实验 2h
第二个实验 先是折腾了3h无果，去做第三个实验,后来又折腾了6h才做完
第三个实验 不断返工，中间还遇到了虚拟机因为存储满无法启动的问题，来来回回花了12h左右
总计23h（包括写博客时间）
