lVS/haproxy
haproxy 安装配置
1. 下载及安装
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.21.tar.gz
tar zxvf haproxy-1.4.21.tar.gz
cd haproxy-1.4.21
make TARGET=linux26 PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproxy
2. 配置
vi /usr/local/haproxy/haproxy.cfg
global
log 127.0.0.1 local0
maxconn 65535
chroot /usr/local/haproxy
uid 99
gid 99
daemon
nbproc 8
pidfile /usr/local/haproxy/haproxy.piddefaults
log 127.0.0.1 local3
mode http
option httplog
option httpclose
option dontlognull
option forwardfor
retries 2
option redispatch
maxconn 2000
balance source
stats uri /web-status
contimeout 5000
clitimeout 50000
srvtimeout 50000listen bbs.wxd5981.com
bind *:8089
mode http
option httplog
log global
option httpchk HEAD /web/bbs/index.php HTTP/1.0
server web1 192.1.1.128:80 weight 5 check inter 2000 rise 2 fall 3
3. 启动及停止
/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg #启动
killall haproxy #停止
4. 加上日志支持，代码如下:
vi /etc/syslog.conf
添加：local3.* /var/log/haproxy.log
local0.* /var/log/haproxy.log
vi /etc/sysconfig/syslog
修改：
SYSLOGD_OPTIONS="-r -m 0"
service syslog restart #最后重启syslog服务
lvs 总结2
lvs中2个组件: ipvs和ipvsadm
1. ipvs
ipvs是工作在内核的一段代码,2.6的内核已经包含了这段代码
2. ipvsadm
ipvsadm 是工作在用户层的程序,需要手动安装
3. 在DR模式中,数据包在节点间传输是靠mac地址,因为realserver和调度机都有vip,为了防止冲突,需要把real server的vip隐藏起来,使其对vip解析的arp请求不做响应.即当有一个客户端访问vip时,real server不响应此请求.
这样一来,响应请求的则只是调度机上的vip,调度机接收到请求后,根据算法选中其中一个real server来响应,调度机把目的mac改为real server的mac,源ip还是客户端的ip,目标ip为real server的vip.realserver 接收此数据包,并直接返回给客户端即
client ip+clientmac ----> 调度机vip 调度机mac----> real server的mac realserver的vip--> 返回给客户端
4. real server 隐藏vip
需要用到两个内核参数，arp_announce和arp_ignore. 这两个参数的目的就是把real server上的vip隐藏起来,不响应.只用于接收调度机转发过来的数据包,然后处理此包返回给客户端.
arp_announce 在某个网卡上向外通知自己的mac和ip对应的关系时的限制级别，即别人来请求时我用哪个地址进行响应。
0 默认 全部响应
1 尽可能的避免使用另外的接口的地址响应客户端的请求
2 只使用可以匹配到客户端的最佳地址响应
arp_ignore 当收到别人的请求我给于响应时的响应类型 ，即我对哪些请求给于响应，哪些不给于响应。
0 默认 全部响应
1 从接受请求的接口响应，即如果请求解析的网卡不是接受请求的网卡则不给于响应。
所以我们可以在real server上把vip配置在lo回环网卡上，然后令arp_announce=2，arp_ignore=1因为直接连接的应该是eth0网卡，而不是lo网卡，所以即可实现隐藏VIP。
注意：因为当real server1直接将请求的数据发给client时是从eth0出去的，所以系统会默认把eth0的ip作为源ip，而我们需要无论如何将VIP作为源ip，此时我们只需要添加一条主机路由即可。
apache2+tomcat6 集群配置实现session同步
A. 配置前的几点知识总结:
1. 集群: 能实现状态同步(例如session复制)功能的2台或者多台服务器组成的架构
2. 负载均衡: 只实现负载被2台或者多台服务器处理的架构
3. 在处理session状态可以配置成session保持和session同步两种状态. session保持是同一个客户端的所有请求分给同一个server处理,同步是集群中所有节点都有一份session拷贝,任何一个节点坏掉,不影响其它节点,服务也不中断
4. tomcat集群中session的同步中是使用组播协议寻找和添加节点,使用tcp协议传输session数据,因此需要查看各节点服务器是否支持组播.查看方法是运行ifconfig 命令.如果有UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 则表示支持组播.其中BROADCAST表示广播,MULTICAST表示组播
5. 环境介绍: apache 2.2 tomcat 6.0 请务必注意,apache和tomcat的版本不同,配置的参数不一样,tomcat6和tomcat5配置集群的配置参数就不一样.请务必注意,切勿生抄.
B. 如下是具体配置过程: (tomcat在两台服务器上)
apache和tomcat1在192.1.1.105机器上,tomcat2在192.1.1.115机器上.
1. apache和tomcat 安装 不在赘述,具体贴出配置文件:
httpd.conf:
NameVirtualHost *:80
<Directory "/data/wwwroot/">
Options None
AllowOverride None
Order allow,deny
Allow from all
</Directory><VirtualHost *:80>
ServerAdmin webmaster@wxd5981.com
DocumentRoot /data/wwwroot/
ServerName 192.1.1.105
ErrorLog logs/mzk-error_log
CustomLog logs/mzk-access_log combined
JkMount /*.jsp controller
JkMount /*.action controller
JkMount /*.servlet controller
</VirtualHost>LoadModule jk_module modules/mod_jk.so
JkWorkersFile /usr/local/tomcat6/conf/jk/workers.properties
JkShmFile logs/mod_jk.shm
JkLogFile /usr/local/tomcat6/logs/mod_jk.log
JkLogLevel info
JkMount /*.jsp controller
workers.properties文件:
worker.list=controller
#-----------------------------
worker.tomcat1.port=8009
worker.tomcat1.host=localhost
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor=1#------------------------------
worker.tomcat2.port=8009
worker.tomcat2.host=192.1.1.115
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor=1#-----------------------------
worker.controller.type=lb
worker.controller.balance_workers=tomcat1,tomcat2
worker.controller.sticky_session=0
tomcat1 的server.xml文件:
<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
channelSendOptions="8">
<Manager className="org.apache.catalina.ha.session.DeltaManager"
expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"/>
<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<Membership className="org.apache.catalina.tribes.membership.McastService"
address="228.0.0.4"
port="45564"
frequency="500"
dropTime="3000"/>
<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="192.1.1.105"
port="4000"
autoBind="100"
selectorTimeout="5000"
maxThreads="6"/>
<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
</Sender>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
</Channel>
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
filter=""/>
<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>
<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
tempDir="/tmp/war-temp/"
deployDir="/tmp/war-deploy/"
watchDir="/tmp/war-listen/"
watchEnabled="false"/>
<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>
tomcat2的server.xml只需要改两个地方:
1. <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat2">
2. <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="192.1.1.115"
几点需要注意的:
1. 更新文件后,两个tomcat先重启,apache后重启
2. worker.controller.sticky_session=0 0是session同步,1是session保持
3. 网卡开启多播 :
route add -net 224.0.0.0 netmask 240.0.0.0 dev eth04. 多播的地址是特定的，D类地址用于多播。D类IP地址就是多播IP地址，即224.0.0.0至239.255.255.255之间的IP地址，并被划分为局部连接多播地址、预留多播地址和管理权限多播地址3类：
局部多播地址：在224.0.0.0～224.0.0.255之间，这是为路由协议和其他用途保留的地址，路由器并不转发属于此范围的IP包。
预留多播地址：在224.0.1.0～238.255.255.255之间，可用于全球范围（如Internet）或网络协议。
管理权限多播地址：在239.0.0.0～239.255.255.255之间，可供组织内部使用，类似于私有IP地址，不能用于Internet，可限制多播范围。
5. 多播即组播,可在广域网传输,而广播则不能在广域网传输,只能在局域网传输
6. 需要在工程的web.xml文件中添加<distributable/>一行,否则session不复制
附件是测试session复制的应用.环境配好后,放置tomcat设置的webapp目录下.
test.zip
lvs+keepalived的一些总结和认识
lvs: linux虚拟服务器,其在前端充当一个负载调度器的角色,能够按照策略将负载分配到后端的真实服务器上
keepalived: 如果lvs只有一台前端调度器,如果调度器宕机,那么整个服务就全部无法访问,为了避免此类问题,则需要有个备用调度器来实现failover.
在知道如何配置前,先把组件的工作原理搞明白,其实配置的话是很简单的. 举例DR模式
1. 前段调度器
使用ipvsadm核心组件来实现调度管理,使用ipvsadm命令添加一个虚拟服务器,指定一个虚拟IP地址,这个虚拟ip地址就是对外发布的地址,但提供响应的服务器是后端的真实服务器,而且是后端服务器直接响应客户端,不是通过前段代理服务器转发给客户端的,这点比较关键.这也是为什么要在后端的真实服务器上的LO网卡配置一个vip的原因.不配置的话,realserver会以为此数据库不是发给自己的,而将其丢弃.
2. realserver
后端的realserver是响应客户端请求的服务器,而且直接发送数据包给客户端,有2个参数需要理解一下:
arp_ignore = 1 : Linux 核心中的一个arp_ignore 参数，该参数默认值为0。即对ARP请求时，只要该IP在本地的机器任意网卡设备上存在都会响应,设置为1则表示系统只回答目的IP为是本地IP的包,也就是对广播包不做响应
arp_announce=2，系统忽略IP包的源地址（source address），而根据目标主机（target host），选择本地地址,即由linux系统来选择使用哪个网卡设备,响应客户端请求.
通俗的来说就是让realserver响应客户端的请求时,不使用vip这个网卡设备来响应,否则的话,调度器的vip就会失效.
调度器在将请求数据包转发给后端realserver时,会把包的目的MAC地址改成realserver的mac地址,客户端的MAC不做更改,这样一来的话,就行成了是客户端直接访问后台realserver的数据包格式.但目的IP地址是VIP,那么realserver想接受这个包,就需要在每个realserver上配置一个VIP,这里是配置lo网卡接口上,在realserver上设置vip是为了让realserver接受调度器转发过来的数据包
设置255.255.255.255则说明了其realserver上的vip的广播地址是本身,这样realserver的vip就不会和调度器的vip冲突
安装步骤:
ipvsadm:的命令介绍: #转一个
对ipvsadm 的使用者有一定的帮助。
为了更好的让大家理解这份命令手册，将手册里面用到的几个术语先简单的介绍
一下：
1，virtual-service-address:是指虚拟服务器的ip 地址
2，real-service-address:是指真实服务器的ip 地址
3，scheduler：调度方法
ipvsadm 的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p
[timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port
[-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
命令选项解释：
有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可
以。
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也
就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R 选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器
记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说
明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的
VRRP 功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务
[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp 的服务
[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s --scheduler scheduler 使用的调度算法，有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客
户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i --ipip 指定LVS 的工作模式为隧道模式
-m --masquerading 指定LVS 的工作模式为NAT 模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组播的同步接口
-c --connection 显示LVS 目前的连接 如：ipvsadm -L -c
--timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon 显示同步守护进程状态
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--numeric -n 输出IP 地址和端口的数字形式
