一、使用Docker-compose实现Tomcat+Nginx负载均衡
1.理解nginx反向代理原理
-
nginx正向代理原理
正向代理,"它代理的是客户端",是一个位于客户端和原始服务器(origin server)之间的服务器,为了从原始服务器取得内容,客户端向代理发送一个请求并指定目标(原始服务器),然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。
-
nginx反向代理原理
反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器(原始服务器对于客户端是透明的)。而正向代理(Forward Proxy),客户端请求时要指定原始服务器,代理再向原始服务器转交请求并将获得的内容返回给客户端。
2.nginx代理tomcat集群,代理2个以上tomcat
2.1创建文件
- docker-compose.yml
version: "3"
services:
nginx:
image: nginx
container_name: "nginx-tomcat"
ports:
- 80:8001
volumes:
- ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
depends_on:
- tomcat01
- tomcat02
- tomcat03
tomcat01:
image: tomcat
container_name: "tomcat01"
volumes:
- ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录
tomcat02:
image: tomcat
container_name: "tomcat02"
volumes:
- ./tomcat2:/usr/local/tomcat/webapps/ROOT
tomcat03:
image: tomcat
container_name: "tomcat03"
volumes:
- ./tomcat3:/usr/local/tomcat/webapps/ROOT
- default.conf
upstream tomcats {
server tomcat01:8080;
server tomcat02:8080;
server tomcat03:8080;
}
server {
listen 8001;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
- 3个index.html
this is tomcat1/2/3!
- 结构图
2.2拉取Tomcat镜像
sudo docker pull tomcat:8.5
2.3运行docker-compose
sudo docker-compose up -d
2.4查看容器
sudo docker ps -a
2.5访问localhost
3.了解nginx的负载均衡策略,并至少实现nginx的2种负载均衡策略
3.1轮询策略
- 创建test1.py
import requests
url="http://127.0.0.1"
for i in range(0,10):
reponse=requests.get(url)
print(reponse.text)
3.2权重策略
- 修改default.conf
upstream tomcats {
server tomcat01:8080 weight=1;
server tomcat02:8080 weight=2;
server tomcat03:8080 weight=3;
}
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://tomcats; # 请求转向tomcats
}
}
-
重启docker服务,然后重新运行tomcat
-
写一个python爬虫统计访问次数
import requests
url="http://127.0.0.1"
count={}
for i in range(0,2000):
response=requests.get(url)
if response.text in count:
count[response.text]+=1;
else:
count[response.text]=1
for a in count:
print(a, count[a])
二、使用Docker-compose部署javaweb运行环境
1.分别构建tomcat、数据库等镜像服务
2.成功部署Javaweb程序,包含简单的数据库操作
2.1下载资源(这里运用参考资料)
2.2修改文件
-
查看ip
-
修改ip
-
修改docker-compose.yml
version: "3" #版本
services: #服务节点
tomcat: #tomcat 服务
image: tomcat #镜像
hostname: hostname #容器的主机名
container_name: tomcat00 #容器名
ports: #端口
- "5050:8080"
volumes: #数据卷
- "./webapps:/usr/local/tomcat/webapps"
- ./wait-for-it.sh:/wait-for-it.sh
networks: #网络设置静态IP
webnet:
ipv4_address: 15.22.0.15
mymysql: #mymysql服务
build: . #通过MySQL的Dockerfile文件构建MySQL
image: mymysql:test
container_name: mymysql
ports:
- "3309:3306"
#红色的外部访问端口不修改的情况下,要把Linux的MySQL服务停掉
#service mysql stop
#反之,将3306换成其它的
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_unicode_ci'
]
environment:
MYSQL_ROOT_PASSWORD: "123456"
networks:
webnet:
ipv4_address: 15.22.0.6
nginx:
image: nginx
container_name: "nginx-tomcat"
ports:
- 8080:8080
volumes:
- ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
tty: true
stdin_open: true
networks:
webnet:
ipv4_address: 15.22.0.7
networks: #网络设置
webnet:
driver: bridge #网桥模式
ipam:
config:
-
subnet: 15.22.0.0/24 #子网
- 增加default.conf
upstream tomcat123 {
server tomcat00:8080;
server tomcat0I:8080;
}
server {
listen 8080; #这个改成8080的话是因为在调用原作者的数据库前端接口的时候,有一张数据图要向**127.0.0.1:端口**请求,如果内外端口不统一的话就会显示不了数据图.
server_name localhost;
location / {
proxy_pass http://tomcat123;
}
}
- 其余文件不改,结构图
2.3开始部署
- 启动容器
sudo docker-compose up -d
- 访问前端页面
2.4数据库操作
3.为上述环境添加nginx反向代理服务,实现负载均衡
三、使用Docker搭建大数据集群环境
1pull Ubuntu镜像
sudo docker pull ubuntu
cd ~
mkdir build
sudo docker run -it -v /home/tao/build:/root/build --name ubuntu ubuntu
2Ubuntu容器初始化
- 换源
cat<<EOF>/etc/apt/sources.list
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF
- 更新软件源
apt-get update
- 安装vim(便于在容器中编辑文件)
apt-get install vim
- 安装ssh(在开启分布式Hadoop时,需要用到ssh连接slave节点)
apt-get install ssh
- 开启sshd服务器
/etc/init.d/ssh start # 运行脚本即可开启sshd服务器
vim ~/.bashrc
/etc/init.d/ssh start # 在该文件中最后一行添加如下内容,实现进入Ubuntu系统时,都能自动启动sshd服务
- 配置ssh
cd ~/.ssh
ssh-keygen -t rsa #一直按回车即可
cat id_rsa.pub >> authorized_keys
- 安装JDK
apt-get install openjdk-8-jdk
vim ~/.bashrc # 在文件末尾添加以下两行,配置Java环境变量:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效
java -version #查看是否安装成功
- 保存新镜像文件
sudo docker commit 7e841b9f88c4 ubuntu:jdk8 #7e841b9f88c4:容器ID jkd8版本的ubuntu
sudo docker run -it -v /home/tao/build:/root/build --name ubuntu-jdk8 ubuntu:jdk8
3.安装Hadoop
cd /root/build
#将hadoop压缩包放入本地build文件夹中,这里使用大数据实验中的3.1.3版本
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装
4.配置Hadoop
4.1 进入工作目录
cd /usr/local/hadoop-3.1.3/etc/hadoop
4.2修改文件
- hadoop-env.sh文件(修改JAVA_HOME)
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加
- core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
- hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
</property>
</configuration>
- mapred-site.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
</property>
</configuration>
- yarn-site.xml文件
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.5</value>
</property>
</configuration>
4.3修改脚本
- 回到工作目录
cd /usr/local/hadoop-3.1.3/sbin
- 对于start-yarn.sh添加参数
vim start-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
- 对于stop-yarn.sh添加参数
vim stop-dfs.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
5.运行hadoop
- 再次保存镜像
sudo docker commit 85258e82ac8f ubuntu/hadoopinstalled
- 分别打开三个终端,运行ubuntu/hadoop容器
sudo docker run -it -h master --name master ubuntu/hadoopinstalled # 第一个终端
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled # 第二个终端
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled # 第三个终端
- 三个终端分别查看/etc/hosts,get各自的IP
cat /etc/hosts
- 将三个终端的地址分别在添加到各自的/etc/hosts文件中
172.17.0.4 master
172.17.0.5 slave01
172.17.0.6 slave02
- 在master节点终端检测下master是否可以连上slave01和slave02
ssh slave01
ssh slave02
exit #连接上slave节点后从slave节点退回master节点
- 修改workers文件
#将localhost替换为以下两行
slave01
slave02
5.测试Hadoop集群
5.1格式化并启动hadoop
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format #首次启动Hadoop需要格式化
sbin/start-all.sh #启动Hadoop
5.2运行命令jps查看运行结果
- master节点:
- slave01节点:
- slave02节点:
6.运行grep实例
- 建立HDFS文件夹
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/root #注意input文件夹是在root目录下
bin/hdfs dfs -mkdir input
- 运行一个功能为计算字符串个数的jar包
bin/hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input output
- cat查看output文件夹结果显示
./bin/hdfs dfs -cat output/*
四、总结
1.困难
1.1镜像下载太慢
解决:用阿里云镜像加速
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://pk0h8mhv.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
1.2镜像重名
解决:强制删除镜像再启动容器
1.3网站无法登入
解决:Dao层接口与usermapper.xml中返回值类型不一样,但具体问题在哪未能解决。
2.耗时
项目 | 耗时(h) |
---|---|
实验一 | 2 |
实验二 | 4 |
实验三 | 5 |
写博客及查资料 | 2 |
3.感谢
太多了。自己太菜了。出错不知道错在哪。