Centos6下实现Nginx+Tomcat实现负载均衡及监控
2019-04-10 08:54 软件测试汪 阅读(699) 评论(0) 编辑 收藏 举报在性能测试过程中，我们可能会关注很多指标，比如CPU、IO、网络、磁盘等，通过这些指标大致可以判断哪个环节遇到了性能瓶颈，但是当这些指标无法判断出性能瓶颈时，我们可能就需要对一些中间件进行监控，比如Nginx，Tomcat等，当然可能还有很多其他中间件，我们本章主要探讨Nginx+Tomcat的部署及监控，以及使用Jmeter对我们的服务器进行压测，在压测过程中，可能也会遇到Jmeter的一些瓶颈，话不多说，先搞起来。
关于Nginx实现负载均衡
Nginx作为反向代理服务器，实现负载均衡。首先浏览器发起请求，到达Nginx，由Nginx将请求地址转发给相应的tomcat服务器，再由tomcat服务器将结果返回给Nginx，Nginx将结果再转发给浏览器。大致流程如下：
环境准备
- Centos6.3
- JDK1.8
- Tomcat8
客户端
- Vmware
- Xshell
- Xftp
Xsehll配置
我们安装Centos6.3后，使用Xshell进行连接，Xshell安装比较简单，基本都是下一步下一步。建议使用root用户进行登录，密码为虚拟机创建用户时密码，Xshell主要作用是方便我们敲Linux命令。如下图所示：
Xftp配置
我们安装Centos6.3后，使用Xftp进行连接，Xftp安装比较简单，基本都是下一步下一步。建议使用root用户进行登录，密码为虚拟机创建用户时密码。协议选择SFTP，Xftp主要作用是上传和下载文件。如下图所示：
JDK环境配置
我们使用xftp把jdk放到 /usr/local 下，然后输入vi /etc/profile，在文件末尾加入如下内容：
export JAVA_HOME=/usr/local/jdk1.8.0_65
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
然后输入source /etc/profile，在命令行输入java -version，出现如下内容下图，说明JDK环境配置成功
root@ubuntu:/usr/local# java -version
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
安装Nginx
下载Nginx
切换到usr/local，然后命令行输入wget http://nginx.org/download/nginx-1.11.6.tar.gz
解压nginx的gz包
tar -zxvf nginx-1.11.6.tar.gz
安装依赖
cd /usr/local/nginx-1.11.6切换到nginx安装目录
yum -y install pcre-devel
yum install -y zlib-devel
./configure --with-http_stub_status_module
编译
make install
启动nginx
cd /usr/local/nginx/sbin
./nginx
验证Nginx是否启动成功
curl http://localhost
出现下面信息说明安装成功
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
body {
width: 35em;
margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif;
}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>
<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
Nginx常用命令
cd /usr/local/nginx/sbin
./nginx启动./nginx -s stop关闭./nginx -s reopen重启./nginx -v查看版本./nginx -h可以看到命令的帮助信息
Tomcat部署
1.把2个Tomcat包放在/usr/local，为了避免端口冲突，我们需要修改tomcat/conf/server.xml三处地方，
tomcat1如下：
<Server port="8006" shutdown="SHUTDOWN">
<Listener className="org.apache.catalina.startup.VersionLoggerListener" />
<Connector port="8081" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />
<!-- Define an AJP 1.3 Connector on port 8009 -->
<Connector port="8010" protocol="AJP/1.3" redirectPort="8443" />
tomcat2如下：
<Server port="8007" shutdown="SHUTDOWN">
<Listener className="org.apache.catalina.startup.VersionLoggerListener" />
<Connector port="8082" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />
<!-- Define an AJP 1.3 Connector on port 8009 -->
<Connector port="8011" protocol="AJP/1.3" redirectPort="8443" />
修改完成之后，tomcat1的端口位8081，tomcat2的端口为8082
2.修改完tomcat端口号之后，为了区分tomcat1和tomcat2，修改tomcat/webapps/ROOT/index.jsp，tomcat1修改为如下内容
<html>
<head>
<title>第一个 JSP 程序</title>
</head>
<body>
<%
out.println("111111111");
%>
</body>
</html>
tomcat2修改为如下内容
<html>
<head>
<title>第一个 JSP 程序</title>
</head>
<body>
<%
out.println("22222222");
%>
</body>
</html>
3.进入/usr/local/，输入chmod 777 -R tomcat1 tomcat2给2个tomcat赋予权限（如果权限不够，把bin也赋予权限），然后进入/usr/local/tomcat/bin，输入service iptables stop先关闭防火墙，然后./startup.sh启动tomcat1和tomcat2，启动成功截图如下：
修改nginx.conf
首先我们使用find / -name nginx.conf找到nginx.conf的位置，我们使用/usr/local/nginx/conf/nginx.conf 这个路径的nginx.conf文件，使用vim nginx.conf打开，找到http，在#gzip on;下面作如下修改：
upstream tomcat {
server 127.0.0.1:8081 weight=1;
server 127.0.0.1:8082 weight=1;
}
server {
listen 80 default_server;
server_name localhost;
location / {
root html;
proxy_pass http://tomcat; #配置集群指向
index index.html index.htm;
}
location /status {
stub_status on;
access_log off;
}
}
做了如上配置后，在/usr/local/nginx/sbin下重启nginx./nginx -s reopen，启动成功，当我们访问localhost时，会发现不是Nginx的首页了，而是出现/usr/local/tomcat1/webapps/ROOT/index.jsp或者是/usr/local/tomcat2/webapps/ROOT/index.jsp的页面。当我们来回刷新，会发现在下面的2个页面来回跳转，这就实现了负载均衡技术。
查看Nginx的一些状态信息
访问虚拟机ip/status，出现如下内容，说明stub_status模块部署成功
各数据项说明：
- Active connections: 当前nginx正在处理的活动连接数.
- Server accepts handled requests : nginx总共处理了414 个连接，成功创建414 握手(证明中间没有失败的),总共处理了491个请求
- Reading: nginx读取到客户端的Header信息数
- Writing: nginx返回给客户端的Header信息数
- Waiting: 开启keep-alive的情况下,这个值等于 active – (reading + writing)，意思就是nginx已经处理完成,正在等候下一次请求指令的驻留连接。
所以,在访问效率高,请求很快被处理完毕的情况下,Waiting数比较多是正常的.如果reading +writing数较多,则说明并发访问量非常大,正在处理过程中。
为什么是访问ip/status
为什么是访问ip/status？还记得我们在编译的时候使用./configure --with-http_stub_status_module吗？编译的时候安装了stub_status模块，然后我们对nginx.conf进行了一些配置，除了加负载集群，还新增了一个路径 location /status 。
ngxtop
centos6 暂时没有解决ngxtop启动失败问题，大家可以访问我的阿里云，命令行输入ngxtop，对照官方文档进行操作，ngxtop地址
Tomcat监控Probe
Probe github地址
1.首先把probe.war放入tomcat下面的webapps文件夹
2.修改CATALINA_HOME/conf/tomcat-users.xml，新增以下内容
<role rolename="tomcat"/>
<role rolename="role1"/>
<role rolename="manager-gui"/>
<role rolename="manager-script"/>
<role rolename="manager-jmx"/>
<role rolename="manager-status"/>
<role rolename="poweruser"/>
<role rolename="probeuser"/>
<user username="tomcat" password="tomcat" roles="tomcat"/>
<user username="both" password="tomcat" roles="tomcat,role1"/>
<user username="role1" password="tomcat" roles="role1"/>
<user username="sss" password="sss" roles="manager-gui"/>
<user username="fbysss" password="sss" roles="manager-script,manager-jmx,manager-status,poweruser,probeuser"/>
3.修改CATALINA_HOME/bin/catalina.sh，新增JAVA_OPTS="$JAVA_OPTS -Dcom.sun.management.jmxremote"，开启jvm远程监控
4.重启tomcat，访问ip:端口号/probe，出现如下截图说明搭建成功
欢迎关注微信公众号：软件测试汪。软件测试交流群：809111560
