第4次实践作业
一、使用Docker-compose实现Tomcat+Nginx负载均衡
- 要求：
理解nginx反向代理原理；
nginx代理tomcat集群，代理2个以上tomcat；
了解nginx的负载均衡策略，并至少实现nginx的2种负载均衡策略
(1)nginx反向代理原理
客户端对代理是无感知的，客户端不需要任何配置就可以访问，客户端将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，在返回给客户端，此时反向代理服务器和目标服务器对外就是一个服务器，暴露的是代理服务器地址，隐藏了真实服务器IP地址。
(2)nginx代理tomcat集群
docker-compose.yml
nginx配置default.conf
sudo docker-compose up -d --build
访问localhost
(3)nginx的负载均衡策略
轮询策略测试负载均衡
频率相同
修改default.conf
重启
权重策略测试负载均衡
可以看出频率最大为tomcat3，其次tomcat2，最后tomcat1.
二、使用Docker-compose部署javaweb运行环境
- 要求：
分别构建tomcat、数据库等镜像服务；
成功部署Javaweb程序，包含简单的数据库操作；
为上述环境添加nginx反向代理服务，实现负载均衡。
(1)项目结构
参考了这篇博客
docker-compose.yml
version: "3" #版本 services: #服务节点 tomcat00: #tomcat 服务 image: tomcat #镜像 hostname: hostname #容器的主机名 container_name: tomcat00 #容器名 ports: #端口 - "5050:8080" volumes: #数据卷 - "./webapps:/usr/local/tomcat/webapps" - ./wait-for-it.sh:/wait-for-it.sh networks: #网络设置静态IP webnet: ipv4_address: 15.22.0.15 tomcat01: #tomcat 服务 image: tomcat #镜像 hostname: hostname #容器的主机名 container_name: tomcat01 #容器名 ports: #端口 - "5055:8080" volumes: #数据卷 - "./webapps:/usr/local/tomcat/webapps" - ./wait-for-it.sh:/wait-for-it.sh networks: #网络设置静态IP webnet: ipv4_address: 15.22.0.16 mymysql: #mymysql服务 build: . #通过MySQL的Dockerfile文件构建MySQL image: mymysql:test container_name: mymysql ports: - "3309:3306" #红色的外部访问端口不修改的情况下，要把Linux的MySQL服务停掉 #service mysql stop #反之，将3306换成其它的 command: [ '--character-set-server=utf8mb4', '--collation-server=utf8mb4_unicode_ci' ] environment: MYSQL_ROOT_PASSWORD: "123456" networks: webnet: ipv4_address: 15.22.0.6 nginx: image: nginx container_name: "nginx-tomcat" ports: - 8080:8080 volumes: - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件 tty: true stdin_open: true depends_on: - tomcat00 - tomcat01 networks: webnet: ipv4_address: 15.22.0.7 networks: #网络设置 webnet: driver: bridge #网桥模式 ipam: config: - subnet: 15.22.0.0/24 #子网
docker-entrypoint.sh
Dockerfile
default.conf
(2)修改连接数据库的IP
(3)启动容器
(4)浏览器访问
输入账号sa，密码123，登录
查询数据库
三、使用Docker搭建大数据集群环境
- 要求
直接用机器搭建Hadoop集群，会因为不同机器配置等的差异，遇到各种各样的问题；也可以尝试用多个虚拟机搭建，但是这样对计算机的性能要求比较高，通常无法负载足够的节点数；使用Docker搭建Hadoop集群，将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。
（1）在Docker安装Ubuntu系统
创建build文件 运行容器，进入容器换源
更新系统软件源
安装vim和ssh
开启ssh服务器
在.bashrc的最后一行加入/etc/init.d/ssh start
配置ssh
（2）安装Java
安装jdk
apt install openjdk-8-jdk vim ~/.bashrc # 在文件末尾添加以下两行，配置Java环境变量： export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ export PATH=$PATH:$JAVA_HOME/bin source ~/.bashrc # 使~/.bashrc生效
java安装成功
保存镜像文件
（3）安装Hadoop
开启保存的镜像
sudo docker run -it -v /home/cy/build:/root/build --name ubuntu-jdk8 ubuntu/jdk8
下载hadoop压缩包到/home/cy/build，解压安装
cd /root/build tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local
配置并测试安装
cd /usr/local/hadoop-3.1.3 vim ~/.bashrc export HADOOP_HOME=/usr/local/hadoop-3.1.3 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin source ~/.bashrc # 使.bashrc生效 hadoop version
安装成功
（4）配置Hadoop集群
修改hadoop_env.sh的环境变量
cd /usr/local/hadoop-3.1.3/etc/hadoop #进入配置文件存放目录 vim hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ #修改环境变量
修改core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-3.1.3/tmp/dfs/data</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
修改mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
</property>
</configuration>
修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.5</value>
</property>
</configuration>
修改start-dfs.sh和stop-dfs.sh
cd /usr/local/hadoop-3.1.3/sbin #加入下面的内容 HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
修改start-yarn.sh和stop-yarn.sh
#加入下面内容 YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
（5）运行Hadoop集群
保存镜像
sudo docker commit 容器id ubuntu/hadoopinstalled
运行三个终端
# 第一个终端 sudo docker run -it -h master --name master ubuntu/hadoopinstalled # 第二个终端 sudo docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled # 第三个终端 sudo docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled
三个终端分别打开/etc/hosts,修改ip
vim /etc/hosts 172.17.0.4 master 172.17.0.5 slave01 172.17.0.6 slave02
检测是否连接成功
ssh slave01
exit
ssh slave02
exit
修改slaves的主机名
vim etc/hadoop/workers
slave01
slave02
（6）启动并测试Hadoop集群
cd /usr/local/hadoop-3.1.3 bin/hdfs namenode -format sbin/start-all.sh #启动所有服务
jps查看
（7）运行Hadoop实例程序
master上创建用户输入目录
bin/hdfs dfs -mkdir -p /user/hadoop/input
把输入的xml文件传到input
bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
执行
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /user/hadoop/input output 'dfs[a-z.]+'
查看结果
bin/hdfs dfs -cat output/*
四、遇到的问题和解决方法
在运行javaweb项目时报错如下
按照提示删除相应的容器即可解决
五、感想和所花时间
好难，花了一整天。。。
