系统综合实践第4次实践作业

一、使用Docker-compose实现Tomcat+Nginx负载均衡

要求：

理解nginx反向代理原理；
nginx代理tomcat集群，代理2个以上tomcat；
了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略；

1.理解nginx反向代理原理

正向代理，客户端的请求发送到代理服务器，由其代理去访问目标服务器，将访问到的数据传递给客户端，真实客户端对目标服务器不可见。服务器只清楚请求来自哪个代理服务器，而不清楚来自哪个具体的客户端；正向代理模式屏蔽或者隐藏了真实客户端信息。
反向代理，客户端对代理是无感知的，客户端不需要任何配置就可以访问，只需要将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器，再将获取的数据返回给客户端，此时反向代理服务器和目标服务器对外就是一个服务器，暴露的是代理服务器地址，隐藏了真实服务器IP地址。

2.nginx代理tomcat集群，代理2个以上tomcat；

树形结构
docker-compose.yml

version: "3"
services:
    nginx:
        image: nginx
        container_name: "nginx-tomcat"
        ports:
            - 80:8088
        volumes:
            - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
        depends_on:
            - tomcat01
            - tomcat02
            - tomcat03

    tomcat01:
        image: tomcat
        container_name: "tomcat01"
        volumes:
            - ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录

    tomcat02:
        image: tomcat
        container_name: "tomcat02"
        volumes:
            - ./tomcat2:/usr/local/tomcat/webapps/ROOT

    tomcat03:
        image: tomcat
        container_name: "tomcat03"
        volumes:
            - ./tomcat3:/usr/local/tomcat/webapps/ROOT

default.conf

upstream tomcats {
    server tomcat01:8080;
    server tomcat02:8080; 
    server tomcat03:8080;  # 默认使用轮询策略
}

server {
    listen 8088;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

三个index.html

tomcat1.

tomcat2.

tomcat3.

先拉取tomcat镜像，再构建

sudo docker-compose up -d --build

访问localhost，刷新后轮番出现3个网页。
查看新建的容器状态

3.了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略；

（1）轮询策略
编写 testtomcat1.py

# 编写python代码测试轮询策略
import requests

url="http://localhost"

for i in range(0,10):
	reponse=requests.get(url)
	print(reponse.text)

可以发现，三者出现的频率相同。
(2)权重策略

编写 testtomcat2.py

# 编写python代码测试权重策略
import requests

url='http://localhost'
count={}
for i in range(0,1000):
    response=requests.get(url)
    if response.text in count:
        count[response.text]+=1;
    else:
        count[response.text]=1
print(count)

修改default.conf文件

upstream tomcats {
    server tomcat01:8080 weight=1; #weight参数用于指定轮询几率，weight的数值与访问比率成正比
    server tomcat02:8080 weight=2; #设置比重为1：2：4
    server tomcat03:8080 weight=4;  # 默认使用轮询策略
}

server {
    listen 8088;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

重启容器
再次测试

tomcat1、tomcat2 、tomcat3按比例1：2:4接受访问

二、使用Docker-compose部署javaweb运行环境

要求：

分别构建tomcat、数据库等镜像服务；
成功部署Javaweb程序，包含简单的数据库操作；
为上述环境添加nginx反向代理服务，实现负载均衡。
使用老师给的javaweb参考项目

1.树形结构

docker-compose.yml

version: "3"   #版本
services:     #服务节点
  tomcat:     #tomcat 服务
    image: tomcat    #镜像
    hostname: hostname       #容器的主机名
    container_name: tomcat00   #容器名
    ports:      #端口
     - "5050:8080"
    volumes:  #数据卷
     - "./webapps:/usr/local/tomcat/webapps"
     - ./wait-for-it.sh:/wait-for-it.sh
    networks:   #网络设置静态IP
      webnet:
        ipv4_address: 15.22.0.15
  
  mymysql:  #mymysql服务
    build: .   #通过MySQL的Dockerfile文件构建MySQL
    image: mymysql:test
    container_name: mymysql
    ports:
      - "3309:3306" 
#红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉
#service mysql stop
#反之，将3306换成其它的
    command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"
    networks:
      webnet:
        ipv4_address: 15.22.0.6
  nginx:
      image: nginx
      container_name: "nginx-tomcat"
      ports:
          - 8080:8080
      volumes:
          - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
      tty: true
      stdin_open: true
      
      networks:
       webnet:
        ipv4_address: 15.22.0.7
networks:   #网络设置
 webnet:
   driver: bridge  #网桥模式
   ipam:
     config:
      - 
       subnet: 15.22.0.0/24   #子网

default.conf

upstream tomcat123 {
    server tomcat00:8080;
    
}

server {
    listen 8080;
    server_name localhost;

    location / {
        proxy_pass http://tomcat123;
    }
}

2.查看本机IP地址

ifconfig -a

3.进入项目对应目录，修改连接数据库的IP,改成本机IP

4.创建并启动容器服务

sudo docker-compose up -d

5.主机访问http://172.18.0.1:5050/ssmgrogshop_war

可以对数据库进行各种操作，这里以查询、修改数据为例

查询名为“孙阳”旅客的个人信息
修改名为“黄大海”旅客的性别

三、使用Docker搭建大数据集群环境

直接用机器搭建Hadoop集群，会因为不同机器配置等的差异，遇到各种各样的问题；也可以尝试用多个虚拟机搭建，但是这样对计算机的性能要求比较高，通常无法负载足够的节点数；使用Docker搭建Hadoop集群，将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。
要求：

完成hadoop分布式集群环境配置，至少包含三个节点（一个master，两个slave）；
成功运行hadoop 自带的测试实例。
教程

在Docker安装Ubuntu系统

docker pull ubuntu

2.在启动Ubuntu镜像前，需要先在个人文件下创建一个目录，用于向Docker内部的Ubuntu系统传输文件

3.运行ubuntu

sudo docker run -it -v /home/zys_hadoop/build:/root/build --name ubuntu ubuntu

4.安装必要工具

apt-get update
apt-get install vim # 用于修改配置文件
apt-get install ssh # 分布式hadoop通过ssh连接

其余2个类似，就没有一一截图。
5.把启动sshd服务命令写进~/.bashrc文件，实现ssd开机自启：

vim ~/.bashrc

在该文件中最后一行添加如下内容：

/etc/init.d/ssh start

修改方法参考
6.启动sshd服务：

 /etc/init.d/ssh start

实现ssh无密码登陆

ssh-keygen -t rsa #一直按回车键即可
cat id_rsa.pub >> authorized_keys #这一步要在~/.ssh目录下进行

8.安装jdk

apt install openjdk-8-jdk

vim ~/.bashrc       # 打开~/.bashrc文件,在文件末尾添加以下两行，配置Java环境变量：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc 
java -version #查看是否安装成功

9.保存当前镜像为ubuntu/jdkinstalled，表示jdk安装成功的ubuntu版本
新开一个终端

docker commit 容器ID ubuntu/jdkinstalled

10.Hadoop安装与配置
10.1安装Hadoop

运行刚刚保存的新镜像

sudo docker run -it -v /home/zys_hadoop/build:/root/build --name ubuntu-jdkinstalled ubuntu/jdkinstalled

10.2 安装并验证Hadoop

docker cp ./build/hadoop-3.1.3.tar.gz 容器ID：/root/build #漏了这一步，一直错
cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local
vim ~/.bashrc  #添加以下三行
export HADOOP_HOME=/usr/local/hadoop-3.1.3
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin
source ~/.bashrc # 使.bashrc生效
cd /usr/local/hadoop-3.1.3
./bin/hadoop version #验证安装

10.3 配置hadoop集群
进入配置目录

cd /usr/local/hadoop-3.1.3/etc/hadoop

hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加

core-site.xml
vim core-site.xml

<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop-3.1.3/tmp</value>
          <description>A base for other temporary directories.</description>
      </property>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
</configuration>

hdfs-site.xml
vim hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
		        <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
	</property>
	<property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
	</property>
	<property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>

mapred-site.xml
vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
    </property>
</configuration>

yarn-site.xml
vim yarn-site.xml

<?xml version="1.0" ?>
<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.resourcemanager.hostname</name>
               <value>Master</value>
        </property>
        <!--虚拟内存和物理内存比，不加这个模块程序可能跑不起来-->
        <property>
               <name>yarn.nodemanager.vmem-pmem-ratio</name>
               <value>2.5</value>
        </property>
</configuration>

10.4 修改脚本
cd /usr/local/hadoop-3.1.3/sbin

对于start-dfs.sh和stop-dfs.sh文件，在顶部添加下列参数

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

对于start-yarn.sh和stop-yarn.sh，在顶部添加下列参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

10.5 构建镜像

sudo docker commit af27297c626c[容器ID] ubuntu/hadoopinstalled

10.6 利用构建好的镜像运行主机
开启三个终端运行ubuntu/hadoopinstalled镜像，分别表示Hadoop集群中的master,slave01和slave02；

# 第一个终端
docker run -it -h master --name master ubuntu/hadoop
# 第二个终端
docker run -it -h slave01 --name slave01 ubuntu/hadoop
# 第三个终端
docker run -it -h slave02 --name slave02 ubuntu/hadoop

10.7分别查看三个主机的/etc/hosts
cat /etc/hosts

得到IP地址如下：

172.17.0.4    master
172.17.0.5    slave01
172.17.0.6    slave02

三个终端分别vim /etc/hosts打开/etc/hosts,根据各自ip修改为如下形式

172.17.0.4      master
172.17.0.5      slave01
172.17.0.6      slave02

10.8 用如下命令来检测下是否master是否可以连上slave01和slave02

ssh slave01
exit   #一定要记得exit
ssh slave02
exit

(这种方法不可行！！报错，无法写该文件！！) master上的worker文件内容修改为

vim /usr/local/hadoop-3.2.1/etc/hadoop/workers
slave01  #把localhost换成以下两行
slave02

Master里面修改

cd /usr/local/hadoop-3.1.3/etc/hadoop #进入Master的该目录修改workers文件
vim workers  #把localhost换成以下两行
slave01
slave02

11、测试Hadoop集群
11.1 jps查看服务是否开启成功

#在master上操作
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format      #首次启动Hadoop需要格式化
sbin/start-all.sh              #启动所有服务
jps                            #分别查看三个终端

在master,slave01和slave02上分别运行命令jps查看运行结果

12、运行Hadoop实例程序

bin/hdfs dfs -mkdir -p /user/hadoop/input
bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
bin/hdfs dfs -ls /user/hadoop/input

执行实例并查看运行结果

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /user/hadoop/input output 'dfs[a-z.]+'
bin/hdfs dfs -cat output/*

四、个人小结

（1）这次实验工作量太太太太大了，尤其第三个实验，花了非常非常久的时间。实验一花了2个多小时，实验二花了4个小时作业，而实验三，耗时18小时左右吧，太累了。遇到的问题不少，通过查资料可以解决大部分。不过总是会有奇奇怪怪的问题，再重新试了之后就可以了，暂时也搞不懂为什么。之后还要花更多时间去学。最最最烦的是hadoop安装还有运行过程一直出错，甚至还很难找到错误。最后请教了老师，一一排查再重新配置文件，就成功了。起初是在ubuntu/jdkinstalled所在容器上进行初始化，一直报错；换成master，重新来一遍，迷迷糊糊成功了。错因应该是对于start-yarn.sh和stop-yarn.sh等文件误在底部添加参数而非在顶部？

启动服务又出错了：

试了一下，应该是之前配置文件有些小细节没注意到。
（2）学到了编辑修改文件的方法：vim XXX i ->按esc->：wq!保存修改
实验过程中发现，vim +具体路径+文件名形式编辑文件，总会提示该文件不支持写。先cd 到相应目录下，再编辑就会成功。网上的资料也几乎都试过，没什么用，最后想到用这种方法就可以。
（3）对dockker相关的知识更熟悉一些了，不过这学期没有选修大数据实验，对hadoop使用非常陌生，实验过程磕磕绊绊，很多时间都花在找错纠错上了。

posted @ 2020-05-16 21:53 两三阅读(221) 评论(0) 编辑收藏举报

刷新页面返回顶部

两三