2020年系统综合实践 第四次作业

一、使用Docker-compose实现Tomcat+Nginx负载均衡

（一）项目结构

（二）配置文件

  • docker-compose.yml
version: "3"
services:
  tomcat1:
    image: tomcat:latest
    volumes:
      - ./tomcat1/:/usr/local/tomcat/webapps/ROOT/
    restart: "always"
    container_name: tomcat1
  tomcat2:
    image: tomcat:latest
    volumes:
      - ./tomcat2/:/usr/local/tomcat/webapps/ROOT/
    container_name: tomcat2
    restart: "always"
  tomcat3:
    image: tomcat:latest
    volumes:    
      - ./tomcat3/:/usr/local/tomcat/webapps/ROOT/
    container_name: tomcat3
    restart: "always"
  nginx:
    image: nginx:latest
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf
    ports:
      - "80:80"
    links:
      - tomcat1:t1
      - tomcat2:t2
      - tomcat3:t3
  • nginx.conf
user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    #include /etc/nginx/conf.d/*.conf;

    upstream tomcat_client {
         server tomcat1:8080 weight=1;
         server tomcat2:8080 weight=1;
	 server tomcat3:8080 weight=1;
    } 

    server {
        server_name "";
        listen 80 default_server;
        listen [::]:80 default_server ipv6only=on;

        location / {
            proxy_pass http://tomcat_client;
            proxy_redirect default;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
        }
    }
}

（三）负载均衡测试

  • 轮询策略
    • 修改nginx.conf文件中的upstream
    • 测试结果（依次访问每一个Tomcat服务器）
  • 权重策略
    • 修改nginx.conf文件中的upstream
    • 测试结果（权重大的服务器被访问的次数大于权重小的服务器）

二、使用Docker-compose部署javaweb运行环境

（一）文件结构

（二）配置文件

  • docker-compose.yml
version: "3"
services:
  nginx:
    image: nginx:latest
    container_name: isNginx
    ports:
      - "80:80"
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf # 挂载配置文件
    depends_on:
      - tomcat1
      - tomcat2
      - tomcat3
  tomcat1:
    image: tomcat:latest
    container_name: tomcat1
    depends_on:
      - mysql
    restart: always
    volumes:
      - ./webapp:/usr/local/tomcat/webapps # 挂载web目录
      - ./tomcat1/:/usr/local/tomcat/webapps/ROOT/
  tomcat2:
    image: tomcat:latest
    container_name: tomcat2
    depends_on:
      - mysql
    restart: always
    volumes:
      - ./webapp:/usr/local/tomcat/webapps # 挂载web目录
      - ./tomcat2/:/usr/local/tomcat/webapps/ROOT/
  tomcat3:
    image: tomcat:latest
    container_name: tomcat3
    depends_on:
      - mysql
    restart: always
    volumes:
      - ./webapp:/usr/local/tomcat/webapps # 挂载web目录
      - ./tomcat3/:/usr/local/tomcat/webapps/ROOT/
  mysql:
    build: ./mysql
    container_name: ismysql
    ports:
          - "3306:3306"
    restart: always
  • MySQL_Dockerfile
FROM mysql:latest
#作者信息
MAINTAINER ISLAND
#环境变量配置
ENV MYSQL_ALLOW_EMPTY_PASSWORD no
ENV MYSQL_ROOT_PASSWORD 123456
COPY schema.sql /mysql/schema.sql
  • schema.sql
-- 创建数据库，数据库名为“test"
create database `school` default character set utf8 collate utf8_general_ci;
-- 切换到上一步所建的数据库中
use school;
-- 如果存在school表，则删除
DROP TABLE IF EXISTS `student`;
-- 建表
CREATE TABLE `student`(
	`id` varchar(9) NOT NULL,
	`name` varchar(20) NOT NULL,
	`age` varchar(20) NOT NULL,
	PRIMARY KEY (`id`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
  • nginx.conf
user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    #include /etc/nginx/conf.d/*.conf;

    upstream tomcat_client {
         server tomcat1:8080 weight=1;
         server tomcat2:8080 weight=2;
	 server tomcat3:8080 weight=3;
    } 

    server {
        server_name "";
        listen 80 default_server;
        listen [::]:80 default_server ipv6only=on;

        location / {
            proxy_pass http://tomcat_client;
            proxy_redirect default;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
        }
    }
}

(三）JavaWeb程序

  • JavaWeb项目结构

    使用JSP写了简单的对数据库的增删改查的交互，然后将WAR包放在Tomcat的webapps目录下。
    在实际操作中，需要自己查看mysql容器里的IP地址，并且将IP地址写在JDBC连接语句中。或者自己手动将mysql容器的IP地址改成下列的：172.18.0.2

（四）对数据库操作测试

  • 运行docker-compose，打开浏览器，输入：localhost:80/myWeb
  • 增加数据

  • 查询数据

  • 修改数据

  • 删除数据

（四）负载均衡测试(权重策略）

三、使用Docker搭建大数据集群环境

（一）环境准备

  • Hadoop版本：hadoop-3.2.1
  • Ubuntu版本：ubuntu:20.04
  • JDK版本：JDK8

(二）Ubuntu容器初始化

  • 本次实验使用阿里源
    • Dockerfile
FROM ubuntu
COPY sources.list /etc/apt/sources.list
  • 创建镜像
    docker build -t ubuntu .
  • 运行容器
    docker run -it -v /home/island/build:/root/build --name ubuntu ubuntu
  • 更新软件源
    apt-get update
  • 安装Vim和ssh
apt-get install vim
apt-get install ssh
  • 开启ssh服务
    /etc/init.d/ssh start
  • 将自动开启ssh写入~/.bashrc
vim ~/.bashrc

末尾添加：/etc/init.d/ssh start

  • 配置免密登入
ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
  • 安装JDK
apt install openjdk-8-jdk
  • 配置环境变量
    打开~./bashrc,加入以下两行
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
  • 保存配置好JDK的镜像
docker commit 容器ID ubuntu/jdk

（三）安装Hadoop

  • 运行容器
docker run -it -v /home/island/build:/root/build --name ubuntu-jdkinstalled ubuntu/jdk
  • 解压下载好的Hadoop
cd /root/build
tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local
  • 查看是否安装
cd /usr/hadoop-3.2.1
./bin/hadoop version

（四）配置Hadoop集群

  • 配置adoop_env.sh文件
#当前目录为/usr/local/hadoop-3.2.1/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加
  • 在以下四个文件中增加配置
    • core-site.xml
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>
  • hdfs-site.xml
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/namenode_dir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/datanode_dir</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
  • mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.1</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.1</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.1</value>
    </property>
</configuration>
  • yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>
  • 修改启动和结束脚本（如果没修改，启动hadoop时会出现用户错误）
    • 进入目录：/usr/local/hadoop-3.2.1/sbin
    • start-dfs.sh和stop-dfs.sh文件加入下列内容
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
  • tart-yarn.sh和stop-yarn.sh加入下列内容
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
  • 保存镜像
docker commit 容器ID ubuntu/hadoopinstalled

（五）启动Hadoop并且测试实例

  • 启动三个节点（一个master节点，两个slave节点）
# 第一个终端
docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二个终端
docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三个终端
docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled
  • 配置master,slave01和slave02的地址信息
vim /etc/hosts

  • 在master节点上配置需要寻找的节点
vim /usr/local/hadoop-3.2.1/etc/hadoop/workers #将localhost改为 slave01、slave02
  • 启动集群,以下操作均在hadoop安装目录下
cd /usr/local/hadoop
bin/hdfs namenode -format  #第一次启动需要先格式化
sbin/start-all.sh

  • 在分布式文件系统中建立input文件，并将配置文件上传
bin/hdfs dfs -mkdir -p /user/root/input
bin/hdfs dfs -put etc/hadoop/*.xml input # 将xml复制到input下，作为示例程序输入
  • 运行实例
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'

  • 查看结果
bin/hdfs dfs -cat output/*

四、问题&&解决办法&&心得&&时长

问题&&解决办法

  • 容器中安装软件速度过慢
    换源，不过要找到和你ubuntu版本相对应的源，要不然一直会有依赖不满足。
  • docker-compose启动MySQL，MySQL会一直无法进入容器
    先别把脚本放进去，直接构造一个简单的容器，然后在进入这个容器里去创建数据库等等。

心得

这次感觉比前几次实验更加困难了，尤其是在部署JaveWeb，需要更多的时间才能完成。

时长

阅读资料：4h
动手实践：10h
博客编写：2h
合计：16h

posted @ 2020-05-15 16:47  lokk  阅读(325)  评论(0)  编辑  收藏  举报