第4次实践作业

(1)使用Docker-compose实现Tomcat+Nginx负载均衡

要求:

理解nginx反向代理原理;


Nginx在做反向代理时,提供性能稳定,并且能够提供配置灵活的转发功能。Nginx可以根据不同的正则匹配,采取不同的转发策略,比如图片文件结尾的走文件服务器,动态页面走web服务器,只要你正则写的没问题,又有相对应的服务器解决方案,你就可以随心所欲的玩。并且Nginx对返回结果进行错误页跳转,异常判断等。如果被分发的服务器存在异常,他可以将请求重新转发给另外一台服务器,然后自动去除异常服务器。参考

nginx代理tomcat集群,代理2个以上tomcat;

docker-compose.yml

version: "3"

services:

    nginx:

        image: nginx

        container_name: mytomcat

        ports:

            - 80:2020

        volumes:

            - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件

        depends_on:

            - tomcat1

            - tomcat2

            - tomcat3



    tomcat1:

        image: tomcat

        container_name: mytomcat1   # 容器名,与conf对应

        volumes:

           - ./tomcat1:/usr/local/tomcat/webapps/ROOT



    tomcat2:

        image: tomcat

        container_name: mytomcat2

        volumes:

           - ./tomcat2:/usr/local/tomcat/webapps/ROOT



    tomcat3:

        image: tomcat

        container_name: mytomcat3

        volumes:

           - ./tomcat3:/usr/local/tomcat/webapps/ROOT

default.conf

upstream tomcats {

    server mytomcat1:8080 ; # 主机名:端口号

    server mytomcat2:8080 ; # tomcat默认端口号8080

    server mytomcat3:8080 ; 

}



server {

    listen 2020;

    server_name localhost;



    location / {

        proxy_pass http://tomcats; # 请求转向tomcats

    }

}

错误(端口占用,删了之前忘记删除的容器):

成功:

检查:

了解nginx的负载均衡策略,并至少实现nginx的2种负载均衡策略;

参考资料:
1.轮询
最基本的配置方法,是upstream模块默认的负载均衡默认策略。每个请求会按时间顺序逐一分配到不同的后端服务器。所以直接用测试看看。
testTomcat.py

import requests

url="http://localhost"

for i in range(0,10):
	reponse=requests.get(url)
	print(reponse.text)


从结果可以看出轮询的情况,1:1:1
2、weight
权重方式,在轮询策略的基础上指定轮询的几率。
weight参数用于指定轮询几率,weight的默认值为1,;weight的数值与访问比率成正比
default.conf

upstream tomcats {

    server mytomcat1:8080 weight=1; # 主机名:端口号

    server mytomcat2:8080 weight=3; # tomcat默认端口号8080

    server mytomcat3:8080 weight=5; # 使用权重策略

}


server {

    listen 2020;

    server_name localhost;



    location / {

        proxy_pass http://tomcats; # 请求转向tomcats

    }

}

restart(docker restart mytomcat)一次,后可以查看。

可以看出比例与权重比例差不多

(2) 使用Docker-compose部署javaweb运行环境

要求:
分别构建tomcat、数据库等镜像服务;
成功部署Javaweb程序,包含简单的数据库操作;
为上述环境添加nginx反向代理服务,实现负载均衡。
途中出现的问题(忘记截图了)参考资料:https://www.cnblogs.com/syhshare/p/10766891.html
因为没接触过Javaweb,所以直接使用范例https://blog.csdn.net/weixin_41043145/article/details/92834784
按步骤修改本机ip:

修改文件以达到nginx反向代理服务,实现负载均衡:
default.conf

upstream tomcat123 {
    server tomcat00:8080;      
    server tomcat01:8080;
}

server {
    listen 8080;      
    server_name localhost;

    location / {
        proxy_pass http://tomcat123;
    }
}

docker-compose.yml

version: "3"   #版本
services:     #服务节点
  tomcat01:     #tomcat 服务,
    image: tomcat    #镜像
    hostname: hostname       #容器的主机名
    container_name: tomcat00   #容器名
    ports:      #端口
     - "5050:8080"
    volumes:  #数据卷
     - "./webapps:/usr/local/tomcat/webapps"
     - ./wait-for-it.sh:/wait-for-it.sh
    networks:   #网络设置静态IP
      webnet:
        ipv4_address: 15.22.0.15
  tomcat02:     #tomcat 服务
    image: tomcat    #镜像
    container_name: tomcat01   #容器名
    ports:      #端口
     - "5051:8080"
    volumes:  #数据卷
     - "./webapps:/usr/local/tomcat/webapps"
    networks:   #网络设置静态IP
      webnet:
        ipv4_address: 15.22.0.16
  mymysql:  #mymysql服务
    build: .   #通过MySQL的Dockerfile文件构建MySQL
    image: mymysql:test
    container_name: mymysql
    ports:
      - "3309:3306" 
#红色的外部访问端口不修改的情况下,要把Linux的MySQL服务停掉
#service mysql stop
#反之,将3306换成其它的
    command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"
    networks:
      webnet:
        ipv4_address: 15.22.0.6
  nginx:
      image: nginx
      container_name: "nginx-tomcat"
      ports:
          - 8080:8080
      volumes:
          - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
      tty: true
      stdin_open: true
      networks:
       webnet:
        ipv4_address: 15.22.0.7
networks:   #网络设置
 webnet:
   driver: bridge  #网桥模式
   ipam:
     config:
      - 
       subnet: 15.22.0.0/24   #子网

Dockerfile

#  这个是构建MySQL的dockerfile

FROM registry.saas.hand-china.com/tools/mysql:5.7.17

# mysql的工作位置

ENV WORK_PATH /usr/local/

# 定义会被容器自动执行的目录

ENV AUTO_RUN_DIR /docker-entrypoint-initdb.d

#复制gropshop.sql到/usr/local 
COPY grogshop.sql  /usr/local/
#把要执行的shell文件放到/docker-entrypoint-initdb.d/目录下,容器会自动执行这个shell
COPY docker-entrypoint.sh  $AUTO_RUN_DIR/

#给执行文件增加可执行权限
RUN chmod a+x $AUTO_RUN_DIR/docker-entrypoint.sh

# 设置容器启动时执行的命令

#CMD ["sh", "/docker-entrypoint-initdb.d/import.sh"]

启动:

docker-compose up -d --build


打开网页:http://172.19.0.1:5050/ssmgrogshop_war/Login/tologin.do
账号密码sa和123

进入后:

(3)使用Docker搭建大数据集群环境

直接用机器搭建Hadoop集群,会因为不同机器配置等的差异,遇到各种各样的问题;也可以尝试用多个虚拟机搭建,但是这样对计算机的性能要求比较高,通常无法负载足够的节点数;使用Docker搭建Hadoop集群,将Hadoop集群运行在Docker容器中,使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。
要求:
完成hadoop分布式集群环境配置,至少包含三个节点(一个master,两个slave);
成功运行hadoop 自带的测试实例。

ubuntu容器

拉取ubuntu镜像
输入docker pull ubuntu来拉取ubuntu镜像,创建并运行容器

sudo docker run -it -v /home/hadoop/build:/root/build --name ubuntu ubuntu

换源

cat<<EOF>/etc/apt/sources.list
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF

配置Ubuntu

apt-get update
apt-get install vim 
apt-get install ssh 
/etc/init.d/ssh start 
vim ~/.bashrc # 在文件末尾添加上一行的内容,实现ssd开机自启
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys 




安装jdk

apt-cache search jdk
apt-get install openjdk-8-jdk
vim ~/.bashrc # 在文件末尾添加以下两行,配置Java环境变量:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效

做完以上步骤之后另开一个终端存个档:

docker commit 容器ID ubuntu/jdk8 # 存档
docker run -it -v /home/qyanzh/h4/h4_3/build:/root/build --name ubuntu-jdk8 ubuntu/jdk8

安装Hadoop

把群里的安装包(版本为3.1.3)扔到build内安装

tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装


配置Hadoop集群

hadoop-env.sh
cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加

core-site.xml

<configuration>
    <property>  
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp</value>
	<description>A base for other temporary derectories.</description>
    </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
	<property>
		<!--使用yarn运行MapReduce程序-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<!--jobhistory地址host:port-->
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<!--jobhistory的web地址host:port-->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
	<property>
		<!--指定MR应用程序的类路径-->
		<name>mapreduce.application.classpath</name>
		<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
	</property>
</configuration>

yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.5</value>
	</property>
</configuration>
cd /usr/local/hadoop-3.1.3/sbin

对于start-dfs.sh和stop-dfs.sh文件,添加下列参数:

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

对于start-yarn.sh和stop-yarn.sh,添加下列参数:

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

运行

做完以上步骤之后另开一个终端存个档:

docker commit 容器ID ubuntu/hadoop # 存档

开启三个终端,分别运行集群中的主机
第一个终端

docker run -it -h master --name master ubuntu/hadoop

第二个终端

docker run -it -h slave01 --name slave01 ubuntu/hadoop

第三个终端

docker run -it -h slave02 --name slave02 ubuntu/hadoop

配置地址信息,三个终端分别修改/etc/hosts:

vim /etc/hosts # 查看各终端的IP并修改

内容修改成:

172.18.0.4      master
172.18.0.5      slave01
172.18.0.6      slave02


在master上,用ssh命令访问目标主机
exit命令断开ssh连接。

ssh slave01 # 第一次使用需要输入yes
ssh slave02


修改master上workers文件,将localhost修改为slave01 slave02

vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02

测试Hadoop集群

cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format      #首次启动Hadoop需要格式化
sbin/start-all.sh              #启动所有服务

验证

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+' # 运行示例
bin/hdfs dfs -get output output # 获取输出结果
./bin/hdfs dfs -cat output/* # 查看输出结果


停止服务

sbin/stop-all.sh 

(4)实验报告

记录实验过程的主要问题和解决方法,分享经验和感想:
第一个实验的主要问题是端口已占用,删了之前忘记删除的容器就行(具体报错在实验一的过程内)
第二个实验的主要问题是链接不上数据库,无法登录,参考了大佬的,修改了一下端口配置就好了
第三个实验的主要问题是压缩包不知道放哪里一开始,后来通过QQ群同学答疑知道了
谢谢大佬们写得非常详细让我顺顺利利的做下来,还有同学们的问题分析,都带来了很大帮助

记录完成作业所花的时间:
大约两个下午(不到)+两个晚上

posted @ 2020-05-16 22:25  哇唔  阅读(167)  评论(0编辑  收藏  举报