lvs模式介绍
1、DR模式【重点】
----------------------------》real server
client--------------------------》lvs----------------------------》real server
----------------------------》real server
a、dr模式是通过修改目的mac地址来进行数据包转发的
b、数据包在client的源ip是client的ip，目的ip是lvs的ip，这里叫vip
c、数据包在lvs的源ip是client的ip，目的ip是lvs的ip，这里叫vip，但是他的目的mac地址是后面real server的mac地址，这里具体要封装哪个mac地址就看负载的模式
d、数据包到real server，real server这里比较特殊，有如下特点
1、real server要可以直接访问client，或者出外网，因为dr模式不会经过lvs
2、real server是要设置vip，但是这个vip不能设置在实际的物理网口上，需要设置到loopback口上
3、real server要做arp抑制
e、数据包到real server后，real server处理后会直接转发给client，不会经过lvs
f、dr模式性能很强，realserver可以多达100台
g、不支持端口转换，也就是说你访问lvs的80端口，也只能转发到real server的80端口
2、NAT模式【很少用】
nat模式是通过修改目的ip地址来进行数据包转发的
client-------------------------------》lvs------------------------》route---------------------------》realerver{多个}
cip：vip cip：rip1 rip1：cip
a、数据包返回的时候会经过lvs，数据包的为rip1：cip，lvs会修改源ip为vip，也就是说数据包变为vip：cip，然后转发出去
b、数据包进去的时候做个DNAT，出去的时候做个SNAT
c、只需要在调度器上配置可以出外网ip，real server不需要配置可以出外网的ip
d、由于请求和响应的包都经过lvs，所以lvs会存在性能瓶颈
e、nat模式，后端的realserver最多10~20台
f、nat模式，支持端口转换，也就是说访问lvs的80端口，可以转发到realserver的8080端口
3、tunnel模式【很少用】
ip tunnel
----------------------------》real server
client--------------------------》lvs----------------------------》real server
----------------------------》real server
cip：vip cip：vip：rip1 走隧道到real server vip：cip会直接转发出去，不经过lvs
a、数据包进来走lvs，返回直接给client和dr模式一样
b、tunnel模式本身不对数据包做更改，只是在数据包进来的时候在数据包外面加个ip头，这个ip头就是real server的ip
c、在real server上解包发现目的ip是vip，默认情况下他不会解包，所有我们要在real server的loopback上配置vip，同样也要抑制arp
d、出现的时候源ip是vip。目的ip是cip，然后直接走自己的网关出去了
4、fullNAT模式【很少用】
----------------------------------------------------------------------------------------------------
lvs的调度算法
固定调度算法
rr 轮询
wrr 权重轮询
dh 目的地址hash
sh 源地址hash
动态调度算法
----------------------------------------------------------------------------------------------------
安装/配置lvs
lvs是工作在linux内核层，通过下面的命令查看服务器是否安装lvs
lsmod |grep ip_vs查看
这里需要注意，必须要先安装好keepalived，然后启动keepalived才能看到有ip_vs或者是按照好ipvsadm
1、安装keepalived
a、yum install net-snmp
b、rpm -vih /mnt/cdrom/Packages/keepalived-1.2.7-3.el6.x86_64.rpm
2、启动keepalived
[root@test1 keepalived]# /etc/init.d/keepalived start
Starting keepalived: [ OK ]
[root@test1 keepalived]# /etc/init.d/keepalived status
keepalived (pid 4531) is running...
3、查看lsmod
[root@test1 keepalived]# lsmod |grep ip_vs
ip_vs_rr 1420 3
ip_vs 115643 5 ip_vs_rr
libcrc32c 1246 1 ip_vs
ipv6 321422 142 ip_vs,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6
3、安装ipvsadm，管理ipvs的工具
rpm -ivh /mnt/cdrom/Packages/ipvsadm-1.25-10.el6.x86_64.rpm
有如下输出就证明安装成功
[root@test3 yum.repos.d]#
[root@test3 yum.repos.d]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
4、配置一个vip
[root@test1 rpm-gpg]# ip addr add 10.87.7.195 dev eth1 label eth1:1
[root@test1 rpm-gpg]# ping 10.87.7.195
PING 10.87.7.195 (10.87.7.195) 56(84) bytes of data.
64 bytes from 10.87.7.195: icmp_seq=1 ttl=64 time=0.018 ms
64 bytes from 10.87.7.195: icmp_seq=2 ttl=64 time=0.024 ms
[root@test1 rpm-gpg]# ifconfig
eth1 Link encap:Ethernet HWaddr FE:FC:FE:45:A2:A1
inet addr:10.87.7.190 Bcast:10.87.7.255 Mask:255.255.255.0
inet6 addr: fe80::fcfc:feff:fe45:a2a1/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:76290610 errors:0 dropped:0 overruns:0 frame:0
TX packets:5689188 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:10018902648 (9.3 GiB) TX bytes:1754614859 (1.6 GiB)
eth1:1 Link encap:Ethernet HWaddr FE:FC:FE:45:A2:A1
inet addr:10.87.7.195 Bcast:0.0.0.0 Mask:255.255.255.255
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:4126 errors:0 dropped:0 overruns:0 frame:0
TX packets:4126 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:375945 (367.1 KiB) TX bytes:375945 (367.1 KiB)
5、清空之前lvsadm的配置
ipvsadm -C
6、添加一个虚拟实例
ipvsadm -A -t 10.87.7.247:9200 -s rr
-A添加一个虚拟服务
-t 指定一个虚ip和端口
-s 指定调度算法
7、查看虚拟服务
[root@test1 nodes]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.87.7.195:9200 rr
8、添加节点
ipvsadm -a -t 10.87.7.247:9200 -r 10.87.7.190:9200 -g
-t 指定在哪个虚拟服务上添加节点
-r 指定添加的节点
-g 是默认的默认，直接路由模式
再次查看，发现190这个节点以及被挂载到195这个虚拟ip下面了
[root@test1 nodes]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.87.7.195:9200 rr
-> 10.87.7.190:9200 Local 1 0 0
9、添加其他节点
[root@test1 nodes]# ipvsadm -a -t 10.87.7.195:9200 -r 10.87.7.191:9200 -g
[root@test1 nodes]# ipvsadm -a -t 10.87.7.195:9200 -r 10.87.7.192:9200 -g
再次查看，将所有节点添加上去
[root@test1 nodes]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.87.7.195:9200 rr
-> 10.87.7.190:9200 Local 1 0 0
-> 10.87.7.191:9200 Route 1 0 0
-> 10.87.7.192:9200 Route 1 0 0
10、为虚拟服务删除节点
[root@test1 nodes]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.87.7.195:9200 rr
-> 10.87.7.190:9200 Local 1 0 0
-> 10.87.7.191:9200 Route 1 0 0
-> 10.87.7.192:9200 Route 1 0 0
[root@test1 nodes]# ipvsadm -d -t 10.87.7.195:9200 -r 10.87.7.192:9200
[root@test1 nodes]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 10.87.7.195:9200 rr
-> 10.87.7.190:9200 Local 1 0 0
-> 10.87.7.191:9200 Route 1 0 0
11、真实节点绑定vip并添加路由
ip addr add 10.87.7.247/32 dev lo label lo:1
route add -host 10.87.7.247 dev lo
12、在real server 上配置arp抑制
echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
13、查看访问的情况
[root@test1 rpm-gpg]# ipvsadm -L -n --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 10.87.7.195:9200 6 21 0 1188 0
-> 10.87.7.190:9200 2 3 0 164 0
-> 10.87.7.191:9200 2 9 0 512 0
-> 10.87.7.192:9200 2 9 0 512 0
14、lvs没有健康检查功能，节点故障后，lvs会无法感知的
15、lvs配置ip包转发
echo 1 > /proc/sys/net/ipv4/ip_forward
16、设置超时设置
查看：ipvsadm -L --timeout
设置：ipvsadm --set 5 10 300
--------------------------------------------------------------------------
keepalived主要是用来监控lvs，是高可用集群
后来加入vrrp，虚拟路由冗余协议
1、failover功能，就是靠vrrp协议进行通信的
主节点工作，备节点处于备份状态，当主节点宕机，备节点接管，当主节点恢复，备节点把资源交接给主节点
2、因为他是为lvs设计的，只要在配置文件中配置，就可以实现lvs功能，所以他们非常亲密
3、keepalived可以对lvs下面的节点做健康检查
故障切换转移原理
通过vrrp协议来实现的，在正常工作的时候，keepalived的主节点周期性的不断的发送心跳消息给备节点，证明自己还活，如果备机收不到master发的心跳包，就会接管资源提供服务
vrrp协议
虚拟路由冗余协议，他的出现就是解决静态路由单点的问题
是通过竞选的机制来将任务交个某台vrrp路由器，在vrrp的路由器中可以有多台路由器，但是正常情况，就是一台工作，其他都是备节点，vrrp协议让每个路由器竞选，获胜就是master，通过优先级来确定谁是master，优先级大的就是master
master特权：要绑定ip地址，要启动一些资源，对外提供服务，响应arp请求
4、启动keepalived
[root@test2 test]# /etc/init.d/keepalived status
keepalived is stopped
[root@test2 test]# /etc/init.d/keepalived start
Starting keepalived: [ OK ]
[root@test2 test]# /etc/init.d/keepalived status
keepalived (pid 9094) is running..
5、配置文件详解
3 global_defs {
4 notification_email {
5 acassen@firewall.loc
6 failover@firewall.loc
7 sysadmin@firewall.loc
8 }
9 notification_email_from Alexandre.Cassen@firewall.loc 邮件发件人
10 smtp_server 192.168.200.1 邮件服务器地址
11 smtp_connect_timeout 30 邮件服务器超时时间
12 router_id LVS_DEVEL serverid，在不同的keepalived服务器之间，这个id不能一样，不同的keepalived节点这个不一样
13 }
全局配置
5/6/7 keepalived出问题 告警给谁
9、邮件发件人
15 vrrp_instance VI_1 { 实例的名字，可以改，但是一般不会改
16 state MASTER 服务器的状态，仅仅是傀儡，不同的keepalived之间这个不一样
17 interface eth0 网卡
18 virtual_router_id 51 这个实例的id，可以有n多个实例，这个务必要一样
19 priority 100 vrrp的优先级，用来竞选的。对方最好比这个值小50，不同的keepalived之间这个不一样
20 advert_int 1 心跳的间隔，默认是1s
21 authentication { 服务器之间的需要通过密码来进行通信，这里不建议改
22 auth_type PASS
23 auth_pass 1111
24 }
25 virtual_ipaddress { 虚拟ip地址，就是往interface指定的网卡上绑定ip地址，可以是多个也可以是1个
26 192.168.200.16
27 192.168.200.17
28 192.168.200.18
29 }
30 }
keepalived的实例的配置或者是vrrp的实例的配置，代表一个服务
32行一下涉及到lvs，暂时不设计
32 virtual_server 192.168.200.100 443 {
33 delay_loop 6
34 lb_algo rr
35 lb_kind NAT
36 nat_mask 255.255.255.0
37 persistence_timeout 50
38 protocol TCP
39
40 real_server 192.168.201.100 443 {
41 weight 1
42 SSL_GET {
43 url {
44 path /
45 digest ff20ad2481f97b1754ef3e12ecd3a9cc
46 }
47 url {
48 path /mrtg/
49 digest 9b3a0c85a887a256d6939da88aabd8cd
50 }
51 connect_timeout 3
52 nb_get_retry 3
53 delay_before_retry 3
54 }
55 }
56 }
10、启动keepalived，查看ip地址，只能通过ip a查看，只能在一个节点上看到该ip
[root@test1 keepalived]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether fe:fc:fe:45:a2:a1 brd ff:ff:ff:ff:ff:ff
inet 10.87.7.190/24 brd 10.87.7.255 scope global eth1
inet 10.87.7.246/32 scope global eth1
inet6 fe80::fcfc:feff:fe45:a2a1/64 scope link
valid_lft forever preferred_lft forever
11、测试keepalived切换
a、关掉master的keepalived服务
[root@test1 keepalived]# /etc/init.d/keepalived stop
Stopping keepalived: [ OK ]
b、查看ip已经切换
[root@test2 keepalived]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether fe:fc:fe:29:61:b6 brd ff:ff:ff:ff:ff:ff
inet 10.87.7.191/24 brd 10.87.7.255 scope global eth1
inet 10.87.7.246/32 scope global eth1
inet6 fe80::fcfc:feff:fe29:61b6/64 scope link
valid_lft forever preferred_lft forever
c、启动master的keepalived，查看ip已经切换回去
[root@test1 keepalived]# /etc/init.d/keepalived start
Starting keepalived: [ OK ]
[root@test1 keepalived]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether fe:fc:fe:45:a2:a1 brd ff:ff:ff:ff:ff:ff
inet 10.87.7.190/24 brd 10.87.7.255 scope global eth1
inet 10.87.7.246/32 scope global eth1
inet6 fe80::fcfc:feff:fe45:a2a1/64 scope link
valid_lft forever preferred_lft forever
12、keepalived是监管服务器级别的故障，对于其他服务无法做到监管
我们可以自己写代码去监控服务的状态，如果服务的状态异常，则关闭keepalived服务，如果服务正常恢复，则在拉起keepalived服务
