lvs+keepalived+application部署（只使用两台机器）

目前大家用LVS+Keepalived + APP 架构都是 2台LVS +Keepalived 然后后端跟着 应用设备

然而针对小客户来说,  2台LVS平常没什么压力 还有一台备着(虽然可以跑双主，但对小用户模式意义不大)  想让我们充分利用起来  能不能把后端应用 也部署都LVS上

这样的话 架构就是

#下面讲解2台设备分别部署application+LVS+keepalived 实现高可用跟设备都在服务(没有空闲设备)

架构图 如下:

原理说下吧   (#DR模式)

其实这个跟我们平常部署LVS+Keepalived没什么区别  

当时如果整个过程你按照以前的那种部署思路 发现部署完之后  总有那么一台real-server不能服务(我实验过 把备机的keepalived stop就好了)  以前也一直纠结这个

原因跟解决方法如下:(摘自 扶凯博客)

当客户端发送数据包给 VIP .比如我们的 Director1 (Master 主)这个接口正在工作,这时 LVS 能接收到这个包,然后根据 keepalived 的配置进行 load balance .这时 Director1 会使用 LVS-DR 的功能给包路由给自己或者 Director2 (Backup).
这时有个问题.在这个例子中因为我们使用了 keepalived .这时 Director2 这台是一台 VIP 的备份服务器.这时 keepalived 默认会立即启动使用 ipvsadm 的规则来配置这台服务器怎么样做备份的处理.来使得更快的故障转移.所以这时这些规则这台备份的 Director2 主机都会存在.
这就有问题了.当从 Director1 (Master 主),比如使用 rr .会转发大约 50% 的包从 Director1 到  Director2 (Backup)的 3306 的端口.这时因为 Director2 因为这些 LVS-DR 的配置规则会接着给这些包,在做一次 load balance .又发回去给 Director1.这时会产生一个死的循环.
随着时间的推移，不但不能正常的处理连接,您的服务器也会崩溃，在他们中间或后端不断的反复连接

解决方案: 给进入 eth0 的包打包 mark 的标记,当数据包是发给 VIP:80  并且 MAC 不其它 LVS 服务器的话. 才做个 mark ,这样才会对指定的 fwmark 进行 loadbalance 放入到 LVS 中处理.只要数据包是从任意其它的 MAC 地址(非 LVS 的转发)会被发往 VIP:port, 会不在进行 loadbalanced 而是直接转给后面监听的  demon 程序进行应用的处理.实际就是我们使用 iptables 来对进入的流量设置 MARK.然后配置 keepalived 只处理有 MARK 过的流量.不在使用以前绑定 VIP 和端口

下面我们来给指定的包打标签吧 (利用iptables)命令如下

在LVS 1上执行
 

iptables -t mangle -I PREROUTING -d $VIP -p tcp -m tcp --dport $VPORT -m mac ! --mac -source $MAC_Director2 -j MARK --set -mark 0x3

 

$VIP 为VIP地址

$VPORT 为服务端口

$MAC_Director2 是备机的MAC (keepalived 之间互相监听的那块网卡)

 

在LVS2上执行

iptables -t mangle -I PREROUTING -d $VIP -p tcp -m tcp --dport $VPORT -m mac  ! --mac -source $MAC_Director1 -j MARK --set -mark 0x4

 

$VIP 为VIP地址

$VPORT 为服务端口

$MAC_Director1 是主 的MAC (keepalived 之间互相监听的那块网卡)

备注：关于lvs1与lvs2上的iptables的配置，这里我采用了脚本的形式，因为生产的端口过多，且不易于管理，最终做成系统服务，即可通过service  # start |stop|status 进行维护，该脚本的名称为lvs_iptables.sh ，可以从博客中下载

 

改配置文件

## 跟平常架构配置没大区别

关于/etc/init.d/real-server 的脚本 这里就不介绍了 都懂的….

 

然后改下LVS1 的keepalived配置文件   #主

vrrp_instance VIP_1 {
interface eth0
state MASTER
virtual_router_id 55
priority 100
virtual_ipaddress {
192.168.20.160
  }
notify_backup   “/etc/init.d/rlsv.sh start”  ## 切到备 后执行的脚本
notify_master   “/etc/init.d/rlsv.sh stop”   ## 切到主 后执行的脚本 该脚本也可从博客中下载

notify_fault   “/etc/init.d/rlsv.sh start”      ## 故障状态 后执行的脚本(我也没弄懂这个状态是啥状态 )
}
virtual_server   fwmark 3  8080 {   ####fwmark 3 为刚才用iptables打的标签
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP
sorry_server 127.0.0.1 8080
real_server 192.168.20.135 8080 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.20.136 8080 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

备注：更多的生产的端口可以自行添加

然后改下LVS2 的keepalived配置文件 #备

vrrp_instance VIP_1 {
interface eth0
state BACKUP
virtual_router_id 55
priority 80
virtual_ipaddress {
192.168.20.160
  }

notify_master  “/etc/init.d/rlsv.sh stop”   ##切到主 后执行的脚本
notify_backup  “/etc/init.d/rlsv.sh start”  ##切到备 后执行的脚本
}
virtual_server   fwmark 4  80 { ###fwmark 4 为刚才用iptables打的标签
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP
sorry_server 127.0.0.1 8080
real_server 192.168.20.135 8080 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.20.136 8080 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

最后都是启动keepalived  测试

 

 备注：

这里有个问题  如果keepalived切到备份后(这个切换触发条件 有点纠结 我手动把keepalived down了 但是没执行 MASTER 上的notify_backup   “/etc/init.d/real-server start” 和 notify_fault   “/etc/init.d/real-server start”   命令   )  那这个时候就有问题了  当时如果是机器down了 那没事  当时如果是keepalived服务down了  机器没down 那 也只能一台在服务(这个很纠结)  所有得重点保障 主的keepalived一直正常  那整个平台 设备利用率最高了， 但在此处我想说明一下，其实在MASTER上当keepalived如果DOWN了，可以写脚本检测keepalived的情况，然后启动rlsv.sh的脚本，当keepalived如果up之后，rlsv.sh 的脚本会自动被关闭， 可以暂时解决以上所提到的问题

备注：所有的脚本可下载

 

          

转载请注明linux系统运维：
http://www.linuxyw.com/linux/fuzaijunheng/20130429/146.html