linux+apache+mod_Jk+tomcat实现tomcat集群

       最近一段时间一直在研究实现apache + jk_mod + tomcat实现负载均衡，起初负载均衡算是配置蛮顺利的，但是到了配置tomcat集群时所有配置都没有问题，但是tomcat日志中一直提示没有集群成员加入，为此搞了很久也没有解决，官方的文档也看了不少遍。最后突然想到tomcat集群是通过组播通讯，而组播通讯是通过udp协议实现通讯的，那么集群启动都正常，就是没有集群成员加入，会不会是因为iptables，设置问题，因此查看了45564端口发现是以tcp进行通讯，而实际上应该是以udp进行通讯。修改iptables规则后，集群终于成功。同时要特别注意，网上很多配置文章要么配置错误，要么配置不全，不可完全参考。

     负载均衡配置

• 负载均衡实现的两种方式

               1、mod_jk              

               2、mod_proxy

               本篇文章是基于mod_jk进行配置的

• mod_jk安装配置
  

                  1、下载mod_jk并安装mod_jk
                         下载地址：http://tomcat.apache.org/download-connectors.cgi

       wget http://mirrors.cnnic.cn/apache/tomcat/tomcat-connectors/jk/tomcat-connectors-1.2.40-src.tar.gz
       tar -xzvf tomcat-connectors-1.2.40-src.tar.gz
       cd /tomcat-connectors-1.2.40-src/native/
       ./configure --with-apxs=/usr/local/apache2/bin/apxs
       make && make install
       make clean

                          mod_jk.so会安装在/usr/local/apache2/modules/mod_jk.so
         

                   2、如果在安装apr环境变量，则需要配置apr环境变量

                          在安装完毕后会提示以下内容

 

        If you ever happen to want to link against installed libraries
        in a given directory, LIBDIR, you must either use libtool, and
        specify the full pathname of the library, or use the `-LLIBDIR'
        flag during linking and do at least one of the following:
           - add LIBDIR to the `LD_LIBRARY_PATH' environment variable
             during execution
           - add LIBDIR to the `LD_RUN_PATH' environment variable
             during linking
           - use the `-Wl,-rpath -Wl,LIBDIR' linker flag
           - have your system administrator add LIBDIR to `/etc/ld.so.conf'

                            根据提示，设置mod_jk环境变量                 

 

 

        export LD_LIBRARY_PATH=/usr/local/lib
        export LD_RUN_PATH=/usr/local/bin
        export PATH=$PATH:$LD_RUN_PATH
        export CLASSPATH=$CLASSPATH:$LD_LIBRARY_PATH

 

• httpd.conf配置

 

    #加载http_jk.conf

    #引用http_jk的配置文件
    include          conf/extra/http_jk.conf

    # 加载 mod_jk 模块 
    LoadModule    jk_module modules/mod_jk.so

 

• 配置httpd-vhost.conf文件
  

 

        # Virtual Hosts
        #
        # Required modules: mod_log_config

        # If you want to maintain multiple domains/hostnames on your
        # machine you can setup VirtualHost containers for them. Most configurations
        # use only name-based virtual hosts so the server doesn't need to worry about
        # IP addresses. This is indicated by the asterisks in the directives below.
        #
        # Please see the documentation at 
        # <URL:http://httpd.apache.org/docs/2.4/vhosts/>
        # for further details before you try to setup virtual hosts.
        #
        # You may use the command line option '-S' to verify your virtual host
        # configuration.

        #
        # VirtualHost example:
        # Almost any Apache directive may go into a VirtualHost container.
        # The first VirtualHost section is used for all requests that do not
        # match a ServerName or ServerAlias in any <VirtualHost> block.

        <VirtualHost IP:80>
            ServerAdmin service@域名.com
            ServerName 域名
            DocumentRoot "/home/webapps/应用程序目录"
            DirectoryIndex index.do login.do index.jsp login.jsp
            ErrorLog "/home/logs/apache2/域名.com-error_log"
            CustomLog "/home/logs/apache2/域名-access_log" common

            JkMount /*.jsp jk_controller
            JkMount /*.do jk_controller
            JkMount /*Servlet jk_controller
            JkMount /Servlet/* jk_controller
            JkMount /servlet/* jk_controller
            JkMount /kaptcha.jpg* jk_controller
            JkMount /j_spring_security_check jk_controller
            JkMount /jkStatus jk_watcher

            <Directory "/home/webapps/应用程序目录">
              Options MultiViews
              AllowOverride None
              Allow from all
            </Directory>
        </VirtualHost>

 

• httpd_jk.conf 配置

             httpd_jk.conf主要定义 mod_jk 模块的位置、哪些访问地址需要转交给tomcat应用服务器处理、及 mod_jk 模块的连接日志设置，还有定义 worker.properties 文件的位置。在/usr/local/apache2/conf/extra/目录下创建httpd_jk.conf配置文件，并写入如下内容：

 

        # 指定  workers.properties 文件路径
        JkWorkersFile conf/workers.properties

        # 指定那些请求交给 tomcat 处理 ,"jk_controller" 为在 workers.propertise 里指定的负载分配控制器
        JkMount /*.jsp jk_controller
        JkMount /*.do jk_controller
        JkMount /*.action jk_controller
        JkMount /*Servlet jk_controller
        JkMount /Servlet/* jk_controller
        JkMount /servlet/* jk_controller
        #JkMount /j_spring_security_check jk_controller

        # 指定 log 目录  
        JkLogFile /home/logs/apache2/mod_jk/mod_jk2.log

        JkShmFile /home/logs/apache2/mod_jk/mod_jk.shm

        # Set the jk log level [debug/error/info]
        JkLogLevel info

        # Select the log format
        JkLogStampFormat "[%a %b %d %H:%M:%S %Y]"

        # JkOptions indicate to send SSL KEY SIZE,
        JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories

        # JkRequestLogFormat set the request format
        JkRequestLogFormat "%w %V %T"

              需要配置JkShmFile路径，否则会提示以下错误

 

       No JkShmFile defined in httpd.conf. Using default /usr/local/apache2/logs/jk-runtime-status

 

 

             apache不会过滤配置中的命令行的空格，因此我们必须保证命令与参数之间是真正的空格隔开，另外在配置文件尾部不能有多余的空行，否则在启动apache时，会出现类似以下这样的错误提示，另外也要注意apache无法识别中文字符。否则提示类似下面的错误

       AH00526: Syntax error on line 12 of /usr/local/apache2/conf/extra/http_jk.conf:
       Invalid command 'JkMount\xc2\xa0/*\xc2\xa0controller\xc2\xa0', perhaps misspelled or defined by a module not included in the server configuration

       AH00526: Syntax error on line 12 of /usr/local/apache2/conf/extra/mod_jk.conf:
       JkMount needs a path when not defined in a location

• workers.properties配置   

             1、worker常见属性

 

        ajp13                    ：此类型表示当前worker为一个运行着的Tomcat实例。
        lb                       ：lb即load balancing，专用于负载均衡场景中的woker；此worker并不真正负责处理用户请求，而是将用户请求调度给其它类型为ajp13的worker。
        status                   ：用户显示分布式环境中各实际worker工作状态的特殊worker，它不处理任何请求，也不关联到任何实际工作的worker实例。具体示例如请参见后文中的配置。        
        host                     ：Tomcat 7的worker实例所在的主机
        port                     ：Tomcat 7实例上AJP1.3连接器的端口
        connection_pool_minsize  ：最少要保存在连接池中的连接的个数；默认为pool_size/2
        connection_pool_timeout  ：连接池中连接的超时时长
        mount                    ：由当前worker提供的context路径，如果有多个则使用空格格开；此属性可以由JkMount指令替代
        retries                  ：错误发生时的重试次数
        socket_timeout           ：mod_jk等待worker响应的时长，默认为0，即无限等待
        socket_keepalive         ：是否启用keep alive的功能，1表示启用，0表示禁用
        lbfactor                 ：worker的权重，可以在负载均衡的应用场景中为worker定义此属性        ajp13        ：此类型表示当前worker为一个运行着的Tomcat实例。
        lb                       ：lb即load balancing，专用于负载均衡场景中的woker；此worker并不真正负责处理用户请求，而是将用户请求调度给其它类型为ajp13的worker。
        status                   ：用户显示分布式环境中各实际worker工作状态的特殊worker，它不处理任何请求，也不关联到任何实际工作的worker实例。具体示例如请参见后文中的配置。

        balance_workers          ：用于负载均衡模式中的各worker的名称列表，需要注意的是，出现在此处的worker名称一定不能在任何worker.list属性列表中定义过，并且worker.list属性中定义的worker名字必须包含负载均衡worker。具体示例请参见后文中的定义。
        method                   ：可以设定为R、T或B；默认为R，即根据请求的个数进行调度；T表示根据已经发送给worker的实际流量大小进行调度；B表示根据实际负载情况进行调度。
        sticky_session           ：在将某请求调度至某worker后，源于此址的所有后续请求都将直接调度至此worker，实现将用户session与某worker绑定。默认为值为1，即启用此功能。如果后端的各worker之间支持session复制，则可以将此属性值设为0。 

              2、worker配置

 

             mod_jk安装包tomcat-connectors-1.2.32-src中已经自带了workers.properties包含默认配置和最小配置两种，也可以自行创建workers.properties，然后将workers.properties上传到/usr/local/apache2/conf目录下，以下是workers.properties的配置内容 

 

        #JVMRoute-pj001, JVMRoute-pj002对应tomcat的engine的jvmRoute的名称
        worker.list=jk_controller,jk_watcher,JVMRoute-pj001,JVMRoute-pj002

        #JVMRoute-pj001的tomcat节点配置
        #JK模块实现负载均衡采用的是AJP协议1.3版本，负载均衡服务器的类型配置为ajp13
        worker.JVMRoute-pj001.type=ajp13
        #负载均衡服务器的主机名、域名或者IP地址
        worker.JVMRoute-pj001.host=192.168.1.100
        #负载均衡服务器AJP协议连接器的连接端口
        worker.JVMRoute-pj001.port=8009 #8009 + 0 
        #负载均衡服务器在整个负载均衡系统中所占的权重
        worker.JVMRoute-pj001.lbfactor=1
        #apache服务器是多线程的，tomcat能够利用这一优势来维持一定数量的连接作为缓存。
        worker.JVMRoute-pj001.socket_keepalive=1
        worker.JVMRoute-pj001.socket_timeout=300
        # 指定 JVMRoute-pj001 无法提供服务后由 JVMRoute-pj002 继续提供服务
        worker.JVMRoute-pj001.redirect=JVMRoute-pj002

        #JVMRoute-pj002的tomcat节点配置，端口号+1000,保证唯一
        worker.JVMRoute-pj002.type=ajp13
        worker.JVMRoute-pj002.host=192.168.1.101
        worker.JVMRoute-pj002.port=8109 #8009 + 100
        worker.JVMRoute-pj002.lbfactor=10
        #apache服务器是多线程的，tomcat能够利用这一优势来维持一定数量的连接作为缓存。
        worker.JVMRoute-pj002.socket_keepalive=1
        worker.JVMRoute-pj002.socket_timeout=300
        # 指定 JVMRoute-pj002 无法提供服务后由 JVMRoute-pj001 继续提供服务
        worker.JVMRoute-pj002.redirect=JVMRoute-pj001

        #========jk_controller,负载均衡控制器========
        #这里配置为lb，也就是Load Balance负载均衡
        worker.jk_controller.type=lb
        #拥有哪些负责负载均衡的服务器实例
        worker.jk_controller.balance_workers=JVMRoute-pj001, JVMRoute-pj002
        #设置负载均衡是否采用粘性会话。如果该属性设置为true，假设一个请求被s1处理了，下次来源于同一个客户端的请求也将被s1处理。
        worker.jk_controller.sticky_session=true

        #========jk_watcher,负载均衡监视器========
        worker.jk_watcher.type=status
        worker.jk_watcher.read_only=false
        #设置名称为jk_watcher的负载均衡服务器实例监视器的挂载路径,通过http://218.5.76.101/jkStatus访问
        worker.jk_watcher.mount=/jkStatus
        #worker全局的重试次数。在apache服务器启动后，会最多尝试若干次去连接这些负载均衡服务器，若连接不上就认为是down掉了，这里配置为3
        worker.retries=3

            负载均衡监控平台访问地址：http://ip地址/jkStatus

       tomcat集群配置

• iptables设置

             1、开启防火墙端口

             防火墙端口开放参考上面的设置。tomcat集群开放的根据tomcat的配置文件server.xml进行开放，一般需要开放的端口有      

            8005，8080，8009，8443，45564，4000：4100

            2、验证服务器是否启用组播

                   执行ifconfig查看网卡信息，若ifconfig命令显示的内容中含有红线部分的内容表示支持组播通讯

             3、端口通讯协议验证

                   45564端口以udp进行通讯，如果设定成tcp通讯，将会导致集群配置无法成功

                   4000-4100以tcp进行通讯

             4、添加集群路由

 

          route add -net 224.0.0.0 netmask 240.0.0.0 dev eth2

 

• 修改tomcat配置文件                     

               1、修改链接器端口号

                    若是同一台服务部署多个tomcat，则链接器的端口号必须保证唯一，若是不同台服务器，由于ip不一样可以不修改

 

          <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

             2、定义Engine节点的jvmRoute名称    

 

         <Engine name="Catalina" defaultHost="localhost"> 

                  改为

         <Engine name="Catalina"    defaultHost="localhost" jvmRoute="JVMRoute-pj001">  

                  其中JVMRoute-pj001必须与workers.properties中的定义的保持一致

             3、启用tomcat集群，实现session共享

                   配置集群有两种方式，一种是节点对节点的全拷贝，就是all to all，以下第一种就是，配置起来比较简单。另外一种是根据需要进行配置。tomcat7默认是采用DeltaManager模式，它通过将改变了会话数据同步给集群中的其它节点实现会话复制。

                   1、若是拷贝所有的session，则直接启用即可

 

              <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

                            这种方式经过测试只能实现粘性session模式，无粘性模式测试不成功，sessionid测试一直变化，无法保证唯一，而且根据官方说明也只能采用无粘性模式。在这边绕了很久，花了很长时间才搞清楚。

                    2、完整配置

      <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8">
        <Manager 
            className="org.apache.catalina.ha.session.BackupManager" 
            expireSessionsOnShutdown="false" 
            notifyListenersOnReplication="true"
            mapSendOptions="6"
        />

        <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership 
                className="org.apache.catalina.tribes.membership.McastService"
                address="228.0.0.4"
                port="45564"
                frequency="500"
                dropTime="3000"
            />
            <Receiver  
                className="org.apache.catalina.tribes.transport.nio.NioReceiver" 
                address="172.20.206.146"
                port="4000" 
                autoBind="100" 
                selectorTimeout="5000"
                maxThreads="6"
            />
            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
                <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
        </Channel>
        <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=""/>
        <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>
        <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
        <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
      </Cluster>

•    域名绑定访问

                1、apache：修改/usr/local/apache2/conf/extra/httpd-vhosts.conf，假设站点目录为/home/webapps/site

 

		<VirtualHost ip地址:80>
		    ServerAdmin zouqf@ps007.com

		    ServerName 域名		   
		    ServerAlias 域名
		    
		    DocumentRoot "/home/webapps/site"
		    ErrorLog "/home/logs/apache2/域名-error_log"
		    CustomLog "/home/logs/apache2/域名-access_log" common

		    JkMount /*.jsp JVMRoute-pj001
		    JkMount /*.do JVMRoute-pj001
		    JkMount /*Servlet JVMRoute-pj001
		    JkMount /Servlet/* JVMRoute-pj001
		    JkMount /servlet/* JVMRoute-pj001
		    JkMount /j_spring_security_check JVMRoute-pj001
		    JkMount /jkStatus jk_watcher

		    <Directory "/home/webapps/site">
			  Options MultiViews
			  AllowOverride None
			  Allow from all
		    </Directory>
		</VirtualHost>

 

               2、修改/usr/local/tomcat/conf/server.xml

	    <Host name="www.站点域名.com" debug="0" appBase="webapps"
		  unpackWARs="true" autoDeploy="true">
		<alias>www.站点域名.com</alias>
		<Context path="" docBase="/home/webapps/site" debug="0" reloadable="true"/>
	    </Host>

• Session序列化

            tomcat集群中，站点中的javabean必须能够序列化，这样才能实现共享和持久化和共享，而java自带的序列化机制效率不高，因此可以使用自定义的序列化包，有多种自定义的序列化包，以下为比较常用的序列化包

            1、kryo-serializer: msm-kryo-serializer, kryo-serializers, kryo, minlog, reflectasm, asm-3.2
            2、javolution-serializer: msm-javolution-serializer, javolution-5.4.3.1
            3、xstream-serializer: msm-xstream-serializer, xstream, xmlpull, xpp3_min
            4、flexjson-serializer: msm-flexjson-serializer, flexjson

• 参考资料：

             说明网上实现tomcat集群配置内容不一，有的内容错误，有的内容残缺不全，需要花费一点时间研究

             http://m.oschina.net/blog/87469
             http://www.cnblogs.com/itech/archive/2009/08/18/1548723.html
             http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html
             http://blog.csdn.net/bluishglc/article/details/6867358
             http://blog.csdn.net/maxracer/article/details/7207279
             http://blog.csdn.net/chaijunkun/article/details/6987443
             http://blog.sina.com.cn/s/blog_5f53615f0100p4fj.html
             http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/
             http://tomcat.apache.org/tomcat-7.0-doc/cluster-howto.html
             http://www.verydemo.com/demo_c199_i25182.html
             http://blog.csdn.net/kobe_lzq/article/details/7047834
             http://blog.csdn.net/lifetragedy/article/details/7712691

             http://blog.csdn.net/lifetragedy/article/details/7707455

             http://www.it165.net/admin/html/201409/3804.html
             http://www.linuxidc.com/Linux/2014-09/107336.htm
             http://blog.i5a6.com/901.html
             http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/index.html