每秒处理3百万请求的Web集群搭建-用 LVS 搭建一个负载均衡集群
这篇文章是《打造3百万次请求/秒的高性能服务器集群》系列的第3部分，有关于性能测试工具以及优化WEB服务器部分的内容请参看以前的文章。
本文基于你已经优化好服务器以及网络协议栈的基础之上，并使用 iperf 与 netperf 工具测试将服务器已优化到支持 500,000 次/秒的静态WEB页面的性能。
现在你已经做好足够准备进行安装服务器集群。
Redhat 官网已经有一些不错的文章，所以我建议你在遇到不明白的问题时查看一下这些文章。不过你先别担心，我接下会一步步地讲解群集搭建的所有操作。
LVS 路由器配置
这里需要一台设备作为路由器，它负责将 TCP 流量均衡到 LVS 集群中的每一台服务器。因此你需要拿出一台设备按以下操作进行配置。如果你的 IP 路由的流量非常小的话，你可拿一台性能最比较弱服务器做为路由器。
1.在 LVS 路由器上安装 LVS 软件
yum groupinstall "Load Balancer" chkconfig piranha-gui on chkconfig pulse on
2.配置 WEB 管理的密码
/usr/sbin/piranha-passwd
3.在 iptables 中配置放行端口
vim /etc/sysconfig/iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 3636 -j ACCEPT
4.启动 WEB 管理
service piranha-gui start
-> 一定要等到 Piranha 配置结束之后再开启 pulse 。
5.打开报文转发
vim /etc/sysctl.conf net.ipv4.ip_forward = 1 sysctl -p /etc/sysctl.conf
6.启动 WEB 服务器
[root@webservers ~] service nginx start
Direct Routing 模式配置
1.在 LVS 路由器上登录 Piranha WEB 管理界面进行配置。
在 GLOBAL SETTINGS 页中查看，默认采用是 Direct Routing 模式，我们需要通过这个页面下的功能进行配置 LVS WEB 集群服务器的虚拟 IP 地址（Virtual IP）。
2.选择 VIRTUAL SERVERS 标签页，创建虚拟 WEB 服务器， 这里的服务器就是你的 WEB 服务器集群。通过这个配置可以让你有多台服务器对外像是一台服务器，因此又被称作虚拟服务器（virtual server）。
点击 ADD，然后点 EDIT。
3.编辑虚拟服务器，首先选择一个 IP 地址作为 Virtual IP（IP 不作为真实服务器使用），然后选择一个设备接口（Device）进行绑定。
点击 ACCEPT 完成配置，这个时候 WEB 页面并不会刷新，不过此时配置已经保存完毕。
点击 REAL SERVER 进行下一步真实服务器配置。
4.配置真实服务器，REAL SERVER 页面用于配置 WEB 集群所对应的真实服务器。
用 ADD 将所有的 HTTP 服务器添加进来，然后用 EDIT 进行服务器的详细配置，之后点 ACCEPT 进行保存。
如果需要重新配置集群，先点 VIRTUAL SERVER 之后重新配置 REAL SERVER。
在 REAL SERVER 页配置完所有的真实服务器之后，依次选择每一行后点击 (DE)ACTIVATE 进行激活。
5.至此，所有的真实服务器配置并激活完毕，下接下来回到 VIRTUAL SERVERS 页
点 (DE)ACTIVATE 激活虚拟服务器。
到此为止路由器配置完毕，现在你可以关闭并退出浏览器，接下来要打开 pulse 对每台服务器进行配置。
service pulse start
输入 ipvsadm 可以看到集群已经正常启动。
[root@lvsrouter ~]# ipvsadm IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.122.10:http wlc -> 192.168.122.1:http Route 1 0 0 -> 192.168.122.2:http Route 1 0 0 -> 192.168.122.3:http Route 1 0 0
Direct Routing – 配置每台真实服务器节点
在集群中的每台服务器上按以下步骤进行配置。
1.为真实服务器配置虚拟 IP 地址。
ip addr add 192.168.12.10 dev eth0:1
由于我们希望 IP 地址配置在服务器重启之后也能生效，因此需要将配置写入 /etc/rc.local 文件中。
vim /etc/rc.local ip addr add 192.168.12.10 dev eth0:1
2.在真实服务器上为虚拟 IP 配置 ARP 表项。
这里要关闭所有真实服务器对虚拟 IP 地址的 ARP 请求的响应，这些服务器只响应物理 IP 地址的ARP请求，在整个集群系统中，仅有 LVS 路由器才能响应虚拟 IP 地址的ARP请求。
yum -y install arptables_jf arptables -A IN -d <cluster-ip-address> -j DROP arptables -A OUT -s <cluster-ip-address> -j mangle --mangle-ip-s <realserver-ip-address>
3.在真实服务器上配置完毕之后，保存 ARP 表项配置。
service arptables_jf save chkconfig --level 2345 arptables_jf on
4.测试
如果 arptables 命令配置正确，只有 LVS 路由器才会应答 Ping 请求。首先确保 pulse 已关闭，之后从群集的任一真实服务器上 ping 虚拟 IP 地址，如果有真实服务器回应这个请求，你可以通过查看 ARP 表项看到它。
ping 192.168.122.10 arp | grep 192.168.122.10
这里可以看到解析到服务器的 MAC 地址，然后在这台服务器上关闭 ARP 响应。
还有一个简单而有效测试方法就是使用 curl 向集群请求 WEB 页面，你可以在 LVS 路由器上通过命令 ipvsadm 查看到数据流量。
[root@lvsrouter ~]# watch ipvsadm [user@outside ~]$ curl http://192.168.122.10/test.txt
使用 Tsung 对集群进行性能测试
到此为此集群服务器已经配置完毕并工作正常，这时你可以通过压力测试看到它的性能是多么的强大。参考一下这篇文章对 Tsung 进行配置并生成有效的数据流对集群进行测试。
[root@loadnode1 ~] tsung start Starting Tsung "Log directory is: /root/.tsung/log/20120421-1004"
建议测试至少进行 2 个小时以上，因为测试需要经过比较长的时间才能看到 HTTP 的峰值请求速率。在整个测试过程中你可以在集群服务器上通过 htop 命令看到每个 CPU 核的率用率。
这里假设你已经安装好了 EPEL 和 RPMforge 源。
yum -y install htop cluster-ssh cssh node1 node2 node3 ... htop
你可以看到 HTTP 服务器在高速地接收并回应 WEB 请求，整个过程 LVS 路由器实际没有多少负载。
在实际使用中请确保服务器的 CPU 占所有核的总负责的平均值小于 CPU 的总核数（比如：我的 24 核系统中，我始终保持负载小于等于 23 个核的能力。），这样所有 CPU 即能够充分发挥能力，同时系统又能够具备单一失效时的冗余能力。
在 Tsung 执行结束之后，可以查看集群服务器压力测试的详细测试报告。
cd /root/.tsung/log/20120421-1004 /usr/lib/tsung/bin/tsung_stats.pl firefox report.html
译者注：LVS 主创人为阿里云 CTO 章文嵩博士，是我朝人民长脸作之一，其在服务器群集中应用广泛，相比于 M$ 的 NLB 群集技术而言更为强大，文中的 DR 模式使用通用服务器做为流量均衡设备，性能相对较弱，在实际高性能群集应用中，通常采用具备三层 ECMP 路由硬件能力的交换机或专用负载均衡硬件设备，在不需要复杂流量均衡策略（如：基于应用的均衡）的群集中，使用交换机性价比较高。
转自：http://blog.jobbole.com/87503/
