系统综合实践第四次作业

第四次系统综合实践作业

一、使用Docker-compose实现Tomcat+Nginx负载均衡

理解反向代理原则

反向代理的工作原理是,代理服务器来接受客户端的网络访问连接请求,然后服务器将请求有策略的转发给网络中实际工作的业务服务器,并将从业务服务器处理的结果,返回给网络上发起连接请求的客户端。

nginx代理tomcat集群,代理2个以上tomcat;

  • 在目录下创建如下文件
docker-compose.yml
version: "3"
services:
    nginx:
        image: nginx
        container_name: lyhnginx
        ports:
            - "80:80"
        volumes:
            - ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
        depends_on:
            - tomcat01
            - tomcat02
            - tomcat03

    tomcat01:
        image: tomcat
        container_name: lyhtomcat1
        volumes:
            - ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录

    tomcat02:
        image: tomcat
        container_name: lyhtomcat2
        volumes:
            - ./tomcat2:/usr/local/tomcat/webapps/ROOT

    tomcat03:
        image: tomcat
        container_name: lyhtomcat3
        volumes:
            - ./tomcat3:/usr/local/tomcat/webapps/ROOT
default.conf
upstream tomcats {
    server lyhtomcat1:8080; # 主机名:端口号
    server lyhtomcat2:8080; # tomcat默认端口号8080
    server lyhtomcat3:8080; # 默认使用轮询策略
}

server {
    listen 80;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}
  • 运行docker-compose

  • 查看容器

  • 查看web端

了解nginx的负载均衡策略,并至少实现nginx的2种负载均衡策略

  • 负载均衡策略1:轮询策略
    默认轮询结果:

增加权重,修改nginx.conf

upstream tomcats {
    server lyhtomcat1:8080 weight=1; # 主机名:端口号
    server lyhtomcat2:8080 weight=2;# tomcat默认端口号8080
    server lyhtomcat3:8080 weight=3; # 默认使用轮询策略
}

server {
    listen 80;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

(2)使用Docker-compose部署javaweb运行环境

  • docker-compose.yml
version: '2'
services:
  tomcat:
    image: tomcat
    hostname: ga
    container_name: tomcat_web
    ports:
     - "5050:8080"
    volumes:
     - "$PWD/webapps:/usr/local/tomcat/webapps"

  mymysql:
    build: .
    image: mymysql:test
    container_name: mysql_web
    ports:
      - "3309:3306"
    command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"
                 
  • sql的Dockerfile
FROM registry.saas.hand-china.com/tools/mysql:5.7.17
 
# mysql的工作位置
ENV WORK_PATH /usr/local/

# 定义会被容器自动执行的目录
ENV AUTO_RUN_DIR /docker-entrypoint-initdb.d
 
#复制gropshop.sql到/usr/local 
COPY grogshop.sql  /usr/local/
#把要执行的shell文件放到/docker-entrypoint-initdb.d/目录下,容器会自动执行这个shell
COPY docker-entrypoint.sh  $AUTO_RUN_DIR/
 
#给执行文件增加可执行权限
RUN chmod a+x $AUTO_RUN_DIR/docker-entrypoint.sh
 
# 设置容器启动时执行的命令
#CMD ["sh", "/docker-entrypoint-initdb.d/import.sh"]
  • docker-entrypoint.sh配置
#!/bin/bash

mysql -uroot -p123456 << EOF    #  << EOF 必须要有

source /usr/local/grogshop.sql;
  • tomcat连接sql成功

  • 新增数据及查询成功

(3)使用Docker搭建大数据集群环境

  • 先pull Ubuntu镜像!

  • 创建build文件 运行容器
    sudo docker run -it -v /home/shen252/Documents/Hadoop/build:/root/build --name ubuntu ubuntu

  • 进入容器换源
    cat<<EOF>/etc/apt/sources.list

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
EOF
  • 更新安装一堆软件
apt-get update
apt-get install vim       
apt-get install ssh       
/etc/init.d/ssh start  
vim ~/.bashrc 
#在该文件中最后一行添加如下内容,实现进入Ubuntu系统时,都能自动启动sshd服务    
/etc/init.d/ssh start  
  • 配置sshd
 cd ~/.ssh
ssh-keygen -t rsa # 一直按回车即可
cat id_rsa.pub >> authorized_keys 

-安装JDK

apt install openjdk-8-jdk
vim ~/.bashrc       # 在文件末尾添加以下两行,配置Java环境变量:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc 
java -version #查看是否安装成功

  • 保存配置好的镜像文件
#打开一个新的终端
sudo su
docker ps
docker commit 容器id ubuntu/jdk      

安装Hadoop
先下载Hadoop
开启保存的那份镜像ubuntu/jdk
docker run -it -v /home/lyh/build:/root/build --name ubuntu-jdk ubuntu/jdk
下载完成后,用cp命令将文件复制入共享文件夹/home/lyh/build
sudo cp /home/lyh/Desktop/hadoop-3.1.3.tar.gz /home/lyh/build

 #再打开的容器里运行
cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local 
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装

  • 配置Hadoop集群
    cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录
    hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ # 在任意位置添加

core-site.xml

vim core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop-3.1.3/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

hdfs-site.xml

vim hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/namenode_dir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/datanode_dir</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

mapred-site.xml

vim mapred-site.xml
<configuration>
	<property>
		<!--使用yarn运行MapReduce程序-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<!--jobhistory地址host:port-->
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<!--jobhistory的web地址host:port-->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
	<property>
		<!--指定MR应用程序的类路径-->
		<name>mapreduce.application.classpath</name>
		<value>/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/lib/*,/usr/local/hadoop-3.1.3/share/hadoop/mapreduce/*</value>
	</property>
</configuration>

yarn-site.xml

vim yarn-site.xml
<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.5</value>
	</property>
</configuration>
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodename.vmem-pmem-ratio</name>
        <value>2.7</value>
    </property>
</configuration>
  • 保存镜像
#打开一个新的终端
docker commit 容器id ubuntu/hadoopinstalled

从三个终端分别开启三个容器运行ubuntu/hadoopinstalled镜像,分别表示Hadoop集群中的master,slave01和slave02;

# 第一个终端
sudo docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二个终端
sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三个终端
sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled
  • 三个终端分别打开/etc/hosts,根据各自ip修改为如下形式
vim /etc/hosts
172.17.0.3      master
172.17.0.5      slave01
172.17.0.4      slave02

  • 在master结点测试ssh;连接到slave结点
ssh slave01
ssh slave02
exit #退出

  • 修改master上workers文件;修改localhost
vim /usr/local/hadoop-3.1.3/etc/hadoop/workers
slave01
slave02

  • 测试Hadoop集群
 #在master上操作
cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format      #首次启动Hadoop需要格式化
sbin/start-all.sh              #启动所有服务
jps                            #分别查看三个终端



运行Hadoop实例程序
/bin/hdfs dfs -mkdir -p /user/hadoop/input
bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
bin/hdfs dfs -ls /user/hadoop/input

执行实例程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /user/hadoop/input output 'dfs[a-z.]+'

查看运行结果:

/bin/hdfs dfs -cat output/*

总结

  • 也不知道镜像出了什么鬼,把nguix里的default.conf转成了文件夹,浪费了好多时间
  • javaweb 想学者写来着的,但是实在不得行了就把那个酒店管理拿来用了,但是给原项目加负载均衡还是在数据库创建上花了我好多时间(数据库学的太拉了orz)
  • 第三个在配置集群的时候,xml文件也改了问同学最后发现那个教程太老了 3.0以上的hadoop需要修改hadoop-env.sh文件才行,又查了好久,唉,心累。
  • 这次实验比较难花了我蛮多时间的大概两天下午加上一个晚上近26个小时。
posted @ 2020-05-18 01:01  Shen_HX  阅读(170)  评论(0编辑  收藏  举报