2020系统综合实践 第4次实践作业
(1）使用Docker-compose实现Tomcat+Nginx负载均衡
理解nginx反向代理原理；
反向代理的工作原理是，代理服务器来接受客户端的网络访问连接请求，然后服务器将请求有策略的转发给网络中实际工作的业务服务器，并将从业务服务器处理的结果，返回给网络上发起连接请求的客户端。
nginx代理tomcat集群，代理2个以上tomcat；
- 在目录下创建如下文件
docker-compose.yml
version: "3"
services:
nginx:
image: nginx
container_name: lyhnginx
ports:
- "80:80"
volumes:
- ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
depends_on:
- tomcat01
- tomcat02
- tomcat03
tomcat01:
image: tomcat
container_name: lyhtomcat1
volumes:
- ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录
tomcat02:
image: tomcat
container_name: lyhtomcat2
volumes:
- ./tomcat2:/usr/local/tomcat/webapps/ROOT
tomcat03:
image: tomcat
container_name: lyhtomcat3
volumes:
- ./tomcat3:/usr/local/tomcat/webapps/ROOT
default.conf
upstream tomcats {
server lyhtomcat1:8080; # 主机名:端口号
server lyhtomcat2:8080; # tomcat默认端口号8080
server lyhtomcat3:8080; # 默认使用轮询策略
}
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
- 运行docker-compose
docker-compose up -d
- 查看容器
- 查看web端
了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略
- 负载均衡策略1：轮询策略
使用简单的爬虫查看
import requests
url="http://127.0.0.1"
for i in range(0,10):
reponse=requests.get(url)
print(reponse.text)
- 负载均衡策略2：权重策略
default.conf
upstream tomcats {
server lyhtomcat1:8080 weight=1; # 主机名:端口号
server lyhtomcat2:8080 weight=2; # tomcat默认端口号8080
server lyhtomcat3:8080 weight=3; # 使用权重策略
}
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
使用刚才的爬虫查看
再编一个爬虫查看
import requests
url="http://127.0.0.1"
count={}
for i in range(0,2000):
response=requests.get(url)
if response.text in count:
count[response.text]+=1;
else:
count[response.text]=1
for a in count:
print(a, count[a])
(2) 使用Docker-compose部署javaweb运行环境
原本想学一下的，但是发现学不会，就直接用参考资料的项目了
Tomcat+MySQL
修改IP地址
打开终端运行
docker-compose up -d --build
在web上查看(用户sa ，密码 123)
修改数据
查看修改的数据
加上负载均衡
创建如图所示的文件结构
把default.conf，docker-compose.yml这两个文件修改成下列内容，其他就是原博客的内容
default.conf
upstream tomcats {
server tomcat4:8080 weight=1;
server tomcat5:8080 weight=2;
}
server {
listen 8080;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
docker-compose.yml
version: '2'
services:
tomcat01:
image: tomcat
hostname: lyhjavaweb
container_name: tomcat4
ports:
- "5050:8080"
volumes:
- "$PWD/webapps:/usr/local/tomcat/webapps"
networks:
webnet:
ipv4_address: 15.22.0.15
tomcat02:
image: tomcat
container_name: tomcat5
ports:
- "5051:8080"
volumes:
- "$PWD/webapps:/usr/local/tomcat/webapps"
networks:
webnet:
ipv4_address: 15.22.0.16
mymysql:
build: .
image: mymysql:test
container_name: mymysql
ports:
- "3306:3306"
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_unicode_ci'
]
environment:
MYSQL_ROOT_PASSWORD: "123456"
networks:
webnet:
ipv4_address: 15.22.0.6
nginx:
image: nginx
ports:
- "8080:8080"
volumes:
- ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
networks:
webnet:
driver: bridge
ipam:
config:
- subnet: 15.22.0.0/24
gateway: 15.22.0.2
验证
使用5051端口登入
使用5050端口登入
tomcat+nginx-mysql
（下面这一部分的内容是之前做的，不想删了）
在实践一的基础下创建如下文件
docker-compose.yml
version: "3"
services:
nginx:
image: nginx
container_name: lyhnginx
ports:
- "80:80"
volumes:
- ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
depends_on:
- tomcat01
- tomcat02
- tomcat03
tomcat01:
image: tomcat
container_name: lyhtomcat1
volumes:
- ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录
links:
- "mysql"
tomcat02:
image: tomcat
container_name: lyhtomcat2
volumes:
- ./tomcat2:/usr/local/tomcat/webapps/ROOT
links:
- "mysql"
tomcat03:
image: tomcat
container_name: lyhtomcat3
volumes:
- ./tomcat3:/usr/local/tomcat/webapps/ROOT
links:
- "mysql"
mysql:
build: ./mysql
ports:
- "3306:3306"
volumes:
- ./mysql/data/:/var/lib/mysql/
environment:
MYSQL_ROOT_PASSWORD : 123456
default.conf
upstream tomcats {
server lyhtomcat1:8080 weight=1; # 主机名:端口号
server lyhtomcat2:8080 weight=2; # tomcat默认端口号8080
server lyhtomcat3:8080 weight=3; # 默认使用权重策略
}
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
Dockerfile
#基础镜像
FROM mysql:5.7
#维护者信息
MAINTAINER lyh
构建镜像
sudo su
docker-compose up -d --build
进入mysql容器
docker exec -it tomcat_mysql_1 /bin/bash
查看已有数据库
show databases;
创建新的数据库
create database `lyh` default character set utf8 collate utf8_general_ci;
使用数据库，建表
use lyh;
CREATE TABLE user (
`id` varchar(20) NOT NULL,
`name` varchar(20) DEFAULT NULL,
`sex` varchar(10) DEFAULT NULL,
PRIMARY KEY (`id`)
);
插入数据
INSERT INTO user (`id`, `name`, `sex`)
VALUES
('1111','lyh','man');
查找数据
select * from user;
使用爬虫查看负载均衡
import requests
url="http://127.0.0.1"
count={}
for i in range(0,2000):
response=requests.get(url)
if response.text in count:
count[response.text]+=1;
else:
count[response.text]=1
for a in count:
print(a, count[a])
（3）使用Docker搭建大数据集群环境
主要参考资料使用Docker搭建Hadoop分布式集群
先pull Ubuntu镜像
docker pull ubuntu
创建build文件 运行容器
sudo docker run -it -v /home/lyh/build:/root/build --name ubuntu ubuntu
进入容器换源
cat<<EOF>/etc/apt/sources.list
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF
更新系统源和安装一些必要的软件
apt-get update
apt-get install vim
apt-get install ssh
/etc/init.d/ssh start
vim ~/.bashrc
#在该文件中最后一行添加如下内容，实现进入Ubuntu系统时，都能自动启动sshd服务
/etc/init.d/ssh start
配置ssh
cd ~/.ssh
ssh-keygen -t rsa # 一直按回车即可
cat id_rsa.pub >> authorized_keys
安装JDK
apt install openjdk-8-jdk
vim ~/.bashrc # 在文件末尾添加以下两行，配置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc
java -version #查看是否安装成功
保存配置好的镜像文件
#打开一个新的终端
sudo su
docker ps
docker commit 容器id ubuntu/jdk
安装Hadoop
先下载Hadoop
hadoop-3.1.3.tar.gz下载地址
提取码：wgji
开启保存的那份镜像ubuntu/jdk
docker run -it -v /home/lyh/build:/root/build --name ubuntu-jdk ubuntu/jdk
下载完成后，用cp命令将文件复制入共享文件夹/home/lyh/build
sudo cp /home/lyh/Desktop/hadoop-3.1.3.tar.gz /home/lyh/build
#再打开的容器里运行
cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装
配置Hadoop集群
cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录
hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加
core-site.xml
vim core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
hdfs-site.xml
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.1.3/namenode_dir</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.1.3/datanode_dir</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
mapred-site.xml
vim mapred-site.xml
<configuration>
<property>
<!--使用yarn运行MapReduce程序-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<!--jobhistory地址host:port-->
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<!--jobhistory的web地址host:port-->
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<!--指定MR应用程序的类路径-->
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
</property>
</configuration>
yarn-site.xml
vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.5</value>
</property>
</configuration>
修改脚本
参考使用root配置的hadoop并启动会出现报错
进入脚本文件存放目录：
cd /usr/local/hadoop-3.1.3/sbin
使用vim修改脚本文件
对于start-dfs.sh和stop-dfs.sh文件，添加下列参数(可以放在function{}之后）：
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
对于start-yarn.sh和stop-yarn.sh，添加下列参数(可以放在function{}之后）：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
保存镜像
#打开一个新的终端
docker commit 容器id ubuntu/hadoopinstalled
从三个终端分别开启三个容器运行ubuntu/hadoopinstalled镜像，分别表示Hadoop集群中的master,slave01和slave02；
# 第一个终端
sudo docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二个终端
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三个终端
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled
三个终端分别打开/etc/hosts,根据各自ip修改为如下形式
vim /etc/hosts
172.17.0.4 master
172.17.0.5 slave01
172.17.0.6 slave02
在master结点测试ssh；连接到slave结点
ssh slave01
ssh slave02
exit #退出
修改master上workers文件；修改localhost
vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02
测试Hadoop集群
#在master上操作
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format #首次启动Hadoop需要格式化
sbin/start-all.sh #启动所有服务
jps #分别查看三个终端
运行Hadoop实例程序
/bin/hdfs dfs -mkdir -p /user/hadoop/input
bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
bin/hdfs dfs -ls /user/hadoop/input
执行实例程序:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /user/hadoop/input output 'dfs[a-z.]+'
查看到运行结果:.
/bin/hdfs dfs -cat output/*
总结
第一个负载均衡还好，没有什么太坑的地方
第二个那个javaweb是真的不会，太菜了
后来看到其他同学的方法，直接用博客里的项目，我也就试了一下，然后遇到了一些问题
就是给原项目加负载均衡时，由于不知道什么原因导致创建数据库失败，就改了数据库的接口，把3306改了，然后创建成功了，但是会登入失败，出现这样
对于这个问题，我把数据库接口改回3306，然后删除之前已经创建成功，并且还在运行的所有容器，然后就成功创建，并且可以实现负载均衡。
第三个可以跟着教程走，然后就掉坑里去了，就是使用root配置的hadoop并启动会出现报错这个问题，用教程的方法来配置脚本，然后一直要我输密码，最关键的是密码我又不知道，我是真的裂开了
最后重新配置，先把那四个脚本配好，就可以了，幸好刚才配置的时候终端没关，不用重头再来，不然真的崩了。
所用时间
| 小时 | |
|---|---|
| 查资料 | 6 |
| 实践操作 | 13 |
| 写博客 | 4 |
| 合计 | 23 |
