linux+apache+mod_Jk+tomcat实现tomcat集群

时间:2021-05-05 00:24:58

       最近一段时间一直在研究实现apache + jk_mod + tomcat实现负载均衡,起初负载均衡算是配置蛮顺利的,但是到了配置tomcat集群时所有配置都没有问题,但是tomcat日志中一直提示没有集群成员加入,为此搞了很久也没有解决,官方的文档也看了不少遍。最后突然想到tomcat集群是通过组播通讯,而组播通讯是通过udp协议实现通讯的,那么集群启动都正常,就是没有集群成员加入,会不会是因为iptables,设置问题,因此查看了45564端口发现是以tcp进行通讯,而实际上应该是以udp进行通讯。修改iptables规则后,集群终于成功。同时要特别注意,网上很多配置文章要么配置错误,要么配置不全,不可完全参考。

     负载均衡配置

  • 负载均衡实现的两种方式

               1、mod_jk              

               2、mod_proxy

               本篇文章是基于mod_jk进行配置的

  • mod_jk安装配置
                  1、下载mod_jk并安装mod_jk
                         下载地址:http://tomcat.apache.org/download-connectors.cgi
       wget http://mirrors.cnnic.cn/apache/tomcat/tomcat-connectors/jk/tomcat-connectors-1.2.40-src.tar.gz
tar -xzvf tomcat-connectors-1.2.40-src.tar.gz
cd /tomcat-connectors-1.2.40-src/native/
./configure --with-apxs=/usr/local/apache2/bin/apxs
make && make install
make clean
                          mod_jk.so会安装在/usr/local/apache2/modules/mod_jk.so
         

                   2、如果在安装apr环境变量,则需要配置apr环境变量

                          在安装完毕后会提示以下内容

        If you ever happen to want to link against installed libraries
        in a given directory, LIBDIR, you must either use libtool, and
        specify the full pathname of the library, or use the `-LLIBDIR'
        flag during linking and do at least one of the following:
           - add LIBDIR to the `LD_LIBRARY_PATH' environment variable
             during execution
           - add LIBDIR to the `LD_RUN_PATH' environment variable
             during linking
           - use the `-Wl,-rpath -Wl,LIBDIR' linker flag
           - have your system administrator add LIBDIR to `/etc/ld.so.conf'
                            根据提示,设置mod_jk环境变量                 

        export LD_LIBRARY_PATH=/usr/local/lib
        export LD_RUN_PATH=/usr/local/bin
        export PATH=$PATH:$LD_RUN_PATH
        export CLASSPATH=$CLASSPATH:$LD_LIBRARY_PATH

  • httpd.conf配置

    #加载http_jk.conf

#引用http_jk的配置文件
include conf/extra/http_jk.conf

# 加载 mod_jk 模块
LoadModule jk_module modules/mod_jk.so

  • 配置httpd-vhost.conf文件

        # Virtual Hosts
        #
        # Required modules: mod_log_config

        # If you want to maintain multiple domains/hostnames on your
        # machine you can setup VirtualHost containers for them. Most configurations
        # use only name-based virtual hosts so the server doesn't need to worry about
        # IP addresses. This is indicated by the asterisks in the directives below.
        #
        # Please see the documentation at
        # <URL:http://httpd.apache.org/docs/2.4/vhosts/>
        # for further details before you try to setup virtual hosts.
        #
        # You may use the command line option '-S' to verify your virtual host
        # configuration.

        #
        # VirtualHost example:
        # Almost any Apache directive may go into a VirtualHost container.
        # The first VirtualHost section is used for all requests that do not
        # match a ServerName or ServerAlias in any <VirtualHost> block.

        <VirtualHost IP:80>
            ServerAdmin service@域名.com
            ServerName 域名
            DocumentRoot "/home/webapps/应用程序目录"
            DirectoryIndex index.do login.do index.jsp login.jsp
            ErrorLog "/home/logs/apache2/域名.com-error_log"
            CustomLog "/home/logs/apache2/域名-access_log" common

            JkMount /*.jsp jk_controller
            JkMount /*.do jk_controller
            JkMount /*Servlet jk_controller
            JkMount /Servlet/* jk_controller
            JkMount /servlet/* jk_controller
            JkMount /kaptcha.jpg* jk_controller
            JkMount /j_spring_security_check jk_controller
            JkMount /jkStatus jk_watcher

            <Directory "/home/webapps/应用程序目录">
              Options MultiViews
              AllowOverride None
              Allow from all
            </Directory>
        </VirtualHost>

  • httpd_jk.conf 配置

             httpd_jk.conf主要定义 mod_jk 模块的位置、哪些访问地址需要转交给tomcat应用服务器处理、及 mod_jk 模块的连接日志设置,还有定义 worker.properties 文件的位置。在/usr/local/apache2/conf/extra/目录下创建httpd_jk.conf配置文件,并写入如下内容:

        # 指定  workers.properties 文件路径
        JkWorkersFile conf/workers.properties

        # 指定那些请求交给 tomcat 处理 ,"jk_controller" 为在 workers.propertise 里指定的负载分配控制器
        JkMount /*.jsp jk_controller
        JkMount /*.do jk_controller
        JkMount /*.action jk_controller
        JkMount /*Servlet jk_controller
        JkMount /Servlet/* jk_controller
        JkMount /servlet/* jk_controller
        #JkMount /j_spring_security_check jk_controller

        # 指定 log 目录 
        JkLogFile /home/logs/apache2/mod_jk/mod_jk2.log

        JkShmFile /home/logs/apache2/mod_jk/mod_jk.shm

        # Set the jk log level [debug/error/info]
        JkLogLevel info

        # Select the log format
        JkLogStampFormat "[%a %b %d %H:%M:%S %Y]"

        # JkOptions indicate to send SSL KEY SIZE,
        JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories

        # JkRequestLogFormat set the request format
        JkRequestLogFormat "%w %V %T"

              需要配置JkShmFile路径,否则会提示以下错误

       No JkShmFile defined in httpd.conf. Using default /usr/local/apache2/logs/jk-runtime-status

             apache不会过滤配置中的命令行的空格,因此我们必须保证命令与参数之间是真正的空格隔开,另外在配置文件尾部不能有多余的空行,否则在启动apache时,会出现类似以下这样的错误提示,另外也要注意apache无法识别中文字符。否则提示类似下面的错误

       AH00526: Syntax error on line 12 of /usr/local/apache2/conf/extra/http_jk.conf:
Invalid command 'JkMount\xc2\xa0/*\xc2\xa0controller\xc2\xa0', perhaps misspelled or defined by a module not included in the server configuration

AH00526: Syntax error on line 12 of /usr/local/apache2/conf/extra/mod_jk.conf:
JkMount needs a path when not defined in a location
  • workers.properties配置   

             1、worker常见属性

        ajp13                    :此类型表示当前worker为一个运行着的Tomcat实例。
        lb         :lb即load balancing,专用于负载均衡场景中的woker;此worker并不真正负责处理用户请求,而是将用户请求调度给其它类型为ajp13的worker。
        status         :用户显示分布式环境中各实际worker工作状态的特殊worker,它不处理任何请求,也不关联到任何实际工作的worker实例。具体示例如请参见后文中的配置。       
host             :Tomcat 7的worker实例所在的主机
        port             :Tomcat 7实例上AJP1.3连接器的端口
        connection_pool_minsize  :最少要保存在连接池中的连接的个数;默认为pool_size/2
        connection_pool_timeout  :连接池中连接的超时时长
        mount             :由当前worker提供的context路径,如果有多个则使用空格格开;此属性可以由JkMount指令替代
        retries             :错误发生时的重试次数
        socket_timeout         :mod_jk等待worker响应的时长,默认为0,即无限等待
        socket_keepalive     :是否启用keep alive的功能,1表示启用,0表示禁用
        lbfactor         :worker的权重,可以在负载均衡的应用场景中为worker定义此属性        ajp13        :此类型表示当前worker为一个运行着的Tomcat实例。
        lb         :lb即load balancing,专用于负载均衡场景中的woker;此worker并不真正负责处理用户请求,而是将用户请求调度给其它类型为ajp13的worker。
        status         :用户显示分布式环境中各实际worker工作状态的特殊worker,它不处理任何请求,也不关联到任何实际工作的worker实例。具体示例如请参见后文中的配置。

        balance_workers         :用于负载均衡模式中的各worker的名称列表,需要注意的是,出现在此处的worker名称一定不能在任何worker.list属性列表中定义过,并且worker.list属性中定义的worker名字必须包含负载均衡worker。具体示例请参见后文中的定义。
        method             :可以设定为R、T或B;默认为R,即根据请求的个数进行调度;T表示根据已经发送给worker的实际流量大小进行调度;B表示根据实际负载情况进行调度。
        sticky_session         :在将某请求调度至某worker后,源于此址的所有后续请求都将直接调度至此worker,实现将用户session与某worker绑定。默认为值为1,即启用此功能。如果后端的各worker之间支持session复制,则可以将此属性值设为0。

              2、worker配置

             mod_jk安装包tomcat-connectors-1.2.32-src中已经自带了workers.properties包含默认配置和最小配置两种,也可以自行创建workers.properties,然后将workers.properties上传到/usr/local/apache2/conf目录下,以下是workers.properties的配置内容 

        #JVMRoute-pj001, JVMRoute-pj002对应tomcat的engine的jvmRoute的名称
        worker.list=jk_controller,jk_watcher,JVMRoute-pj001,JVMRoute-pj002

        #JVMRoute-pj001的tomcat节点配置
        #JK模块实现负载均衡采用的是AJP协议1.3版本,负载均衡服务器的类型配置为ajp13
        worker.JVMRoute-pj001.type=ajp13
        #负载均衡服务器的主机名、域名或者IP地址
        worker.JVMRoute-pj001.host=192.168.1.100
        #负载均衡服务器AJP协议连接器的连接端口
        worker.JVMRoute-pj001.port=8009 #8009 + 0
        #负载均衡服务器在整个负载均衡系统中所占的权重
        worker.JVMRoute-pj001.lbfactor=1
        #apache服务器是多线程的,tomcat能够利用这一优势来维持一定数量的连接作为缓存。
worker.JVMRoute-pj001.socket_keepalive=1
worker.JVMRoute-pj001.socket_timeout=300
        # 指定 JVMRoute-pj001 无法提供服务后由 JVMRoute-pj002 继续提供服务
        worker.JVMRoute-pj001.redirect=JVMRoute-pj002

        #JVMRoute-pj002的tomcat节点配置,端口号+1000,保证唯一
        worker.JVMRoute-pj002.type=ajp13
        worker.JVMRoute-pj002.host=192.168.1.101
        worker.JVMRoute-pj002.port=8109 #8009 + 100
        worker.JVMRoute-pj002.lbfactor=10
        #apache服务器是多线程的,tomcat能够利用这一优势来维持一定数量的连接作为缓存。
worker.JVMRoute-pj002.socket_keepalive=1
worker.JVMRoute-pj002.socket_timeout=300
        # 指定 JVMRoute-pj002 无法提供服务后由 JVMRoute-pj001 继续提供服务
        worker.JVMRoute-pj002.redirect=JVMRoute-pj001

        #========jk_controller,负载均衡控制器========
        #这里配置为lb,也就是Load Balance负载均衡
        worker.jk_controller.type=lb
        #拥有哪些负责负载均衡的服务器实例
        worker.jk_controller.balance_workers=JVMRoute-pj001, JVMRoute-pj002
        #设置负载均衡是否采用粘性会话。如果该属性设置为true,假设一个请求被s1处理了,下次来源于同一个客户端的请求也将被s1处理。
        worker.jk_controller.sticky_session=true

        #========jk_watcher,负载均衡监视器========
        worker.jk_watcher.type=status
        worker.jk_watcher.read_only=false
        #设置名称为jk_watcher的负载均衡服务器实例监视器的挂载路径,通过http://218.5.76.101/jkStatus访问
        worker.jk_watcher.mount=/jkStatus
        #worker全局的重试次数。在apache服务器启动后,会最多尝试若干次去连接这些负载均衡服务器,若连接不上就认为是down掉了,这里配置为3
        worker.retries=3

            负载均衡监控平台访问地址:http://ip地址/jkStatus

       tomcat集群配置

  • iptables设置

             1、开启防火墙端口

             防火墙端口开放参考上面的设置。tomcat集群开放的根据tomcat的配置文件server.xml进行开放,一般需要开放的端口有      

            8005,8080,8009,8443,45564,4000:4100

            2、验证服务器是否启用组播

                   执行ifconfig查看网卡信息,若ifconfig命令显示的内容中含有红线部分的内容表示支持组播通讯

linux+apache+mod_Jk+tomcat实现tomcat集群

             3、端口通讯协议验证

                   45564端口以udp进行通讯,如果设定成tcp通讯,将会导致集群配置无法成功

                   4000-4100以tcp进行通讯

             4、添加集群路由

          route add -net 224.0.0.0 netmask 240.0.0.0 dev eth2

  • 修改tomcat配置文件                     

               1、修改链接器端口号

                    若是同一台服务部署多个tomcat,则链接器的端口号必须保证唯一,若是不同台服务器,由于ip不一样可以不修改

          <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

             2、定义Engine节点的jvmRoute名称    

         <Engine name="Catalina" defaultHost="localhost"> 
                  改为
         <Engine name="Catalina"    defaultHost="localhost" jvmRoute="JVMRoute-pj001">  
                  其中JVMRoute-pj001必须与workers.properties中的定义的保持一致

             3、启用tomcat集群,实现session共享

                   配置集群有两种方式,一种是节点对节点的全拷贝,就是all to all,以下第一种就是,配置起来比较简单。另外一种是根据需要进行配置。tomcat7默认是采用DeltaManager模式,它通过将改变了会话数据同步给集群中的其它节点实现会话复制

                   1、若是拷贝所有的session,则直接启用即可

              <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>

                            这种方式经过测试只能实现粘性session模式,无粘性模式测试不成功,sessionid测试一直变化,无法保证唯一,而且根据官方说明也只能采用无粘性模式。在这边绕了很久,花了很长时间才搞清楚。

                    2、完整配置


      <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8">
        <Manager
            className="org.apache.catalina.ha.session.BackupManager"
            expireSessionsOnShutdown="false"
            notifyListenersOnReplication="true"
            mapSendOptions="6"
        />

        <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership
                className="org.apache.catalina.tribes.membership.McastService"
                address="228.0.0.4"
                port="45564"
                frequency="500"
                dropTime="3000"
            />
            <Receiver  
                className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                address="172.20.206.146"
                port="4000"
                autoBind="100"
                selectorTimeout="5000"
                maxThreads="6"
            />
            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
                <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
        </Channel>
        <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=""/>
        <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>
        <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
        <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
      </Cluster>
  •    域名绑定访问

                1、apache:修改/usr/local/apache2/conf/extra/httpd-vhosts.conf,假设站点目录为/home/webapps/site

		<VirtualHost ip地址:80>
ServerAdmin zouqf@ps007.com

ServerName 域名
ServerAlias 域名

DocumentRoot "/home/webapps/site"
ErrorLog "/home/logs/apache2/域名-error_log"
CustomLog "/home/logs/apache2/域名-access_log" common

JkMount /*.jsp JVMRoute-pj001
JkMount /*.do JVMRoute-pj001
JkMount /*Servlet JVMRoute-pj001
JkMount /Servlet/* JVMRoute-pj001
JkMount /servlet/* JVMRoute-pj001
JkMount /j_spring_security_check JVMRoute-pj001
JkMount /jkStatus jk_watcher

<Directory "/home/webapps/site">
Options MultiViews
AllowOverride None
Allow from all
</Directory>
</VirtualHost>

               2、修改/usr/local/tomcat/conf/server.xml
	    <Host name="www.站点域名.com" debug="0" appBase="webapps"
unpackWARs="true" autoDeploy="true">
<alias>www.站点域名.com</alias>
<Context path="" docBase="/home/webapps/site" debug="0" reloadable="true"/>
</Host>
  • Session序列化

            tomcat集群中,站点中的javabean必须能够序列化,这样才能实现共享和持久化和共享,而java自带的序列化机制效率不高,因此可以使用自定义的序列化包,有多种自定义的序列化包,以下为比较常用的序列化包

            1、kryo-serializer: msm-kryo-serializer, kryo-serializers, kryo, minlog, reflectasm, asm-3.2
            2、javolution-serializer: msm-javolution-serializer, javolution-5.4.3.1
            3、xstream-serializer: msm-xstream-serializer, xstream, xmlpull, xpp3_min
            4、flexjson-serializer: msm-flexjson-serializer, flexjson


  • 参考资料:

             说明网上实现tomcat集群配置内容不一,有的内容错误,有的内容残缺不全,需要花费一点时间研究

             http://m.oschina.net/blog/87469
             http://www.cnblogs.com/itech/archive/2009/08/18/1548723.html
             http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html
             http://blog.csdn.net/bluishglc/article/details/6867358
             http://blog.csdn.net/maxracer/article/details/7207279
             http://blog.csdn.net/chaijunkun/article/details/6987443
             http://blog.sina.com.cn/s/blog_5f53615f0100p4fj.html
             http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/
             http://tomcat.apache.org/tomcat-7.0-doc/cluster-howto.html
             http://www.verydemo.com/demo_c199_i25182.html
             http://blog.csdn.net/kobe_lzq/article/details/7047834
             http://blog.csdn.net/lifetragedy/article/details/7712691

             http://blog.csdn.net/lifetragedy/article/details/7707455

             http://www.it165.net/admin/html/201409/3804.html
             http://www.linuxidc.com/Linux/2014-09/107336.htm
             http://blog.i5a6.com/901.html
             http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/index.html