1 概述
本文通过例子，介绍LNMT和LAMT，结合例子介绍如何实现如下的功能
(1) nginx + tomcat cluster, httpd(proxy_http_module)+tomcat cluster, httpd(proxy_ajp_module)+tomcat cluster；
(2) tomcat cluster升级为session cluster, 使用deltaManager；
(3) tomcat cluster将会话保存至memcached中；
2 概念介绍
LNMT：Linux Nginx MySQL Tomcat
Client (http) --> nginx (reverse proxy)(http) --> tomcat (http connector)
tomcat处理静态资源效率比nginx低，而且消耗更多的资源，所以静态资源一般有nginx作为web服务器处理
LAMT：Linux Apache(httpd) MySQL Tomcat
httpd的代理模块有如下三个：
proxy_module
proxy_http_module：适配http协议客户端；
proxy_ajp_module：适配ajp协议客户端；
Client (http) --> httpd (proxy_http_module)(http) --> tomcat (http connector)
Client (http) --> httpd (proxy_ajp_module)(ajp) --> tomcat (ajp connector)
Client (http) --> httpd (mod_jk)(ajp) --> tomcat (ajp connector)
2.1 会话保持：
动态内容通常要追踪用户的会话，php或者jsp的会话会定期保存在磁盘，所以重新上线的机器，会话可以从磁盘恢复。但是，需要解决单点故障的问题。
(1) session sticky，会话绑定
source_ip：调度粒度粗糙，用于三四层调度
nginx: ip_hash
haproxy: source
lvs: sh
cookie：七层调度，粒度精细
nginx：hash
haproxy: cookie
(2) session cluster：delta session manager，会话集群，通过多播的方式，把会话传给集群中的其他主机，保证集群中的所有主机都拥有相同的会话信息。这种调度的缺点是，当站点访问量很大的时候，站点保存的会话会很多，在会话保持期间每一台主机持有相同的会话，导致了对每台服务器都造成压力。
(3) session server：redis(store), memcached(cache)。节点的会话都保存在服务器中，一般是kv存储，如redis（kv store，持久存储）或者memcache(kv cache,不能持久存储)，redis和memcache的存储都在内存中，没有复杂的约束关系，（不能使用mysql,因为myslq的约束多，数据存取效率低，不过mysql具有事务的强移植）.session server 建议配置为冗余模型。
服务器后端冗余，这里有两种机制：
客户端存储的时候，直接把会话存储在后端的多台缓存服务器上。
另一机制，后端存储服务器自动同步数据。缺点是存在延时。后端服务可能存在故障，可以用keepalive来实现，但是节点太多的时候，keepalive就实现不了，这个时候，可以使用服务注册（服务发现+）来实现，在服务总线上注册自己主机的信息。
2.2 Tomcat Cluster(session)
有三个方式
(1) session sticky
(2) session cluster：tomcat delta manager
(3) session server ：借助memcached
Tomcat Cluster，有以下的方案构建集群
一个httpd调度用户请求到tomcat,httpd有多种变化方式，所以有三种方式
(1) httpd + tomcat cluster，
httpd: mod_proxy, mod_proxy_http, mod_proxy_balancer
tomcat cluster：http connector
(2) httpd + tomcat cluster
httpd: mod_proxy, mod_proxy_ajp, mod_proxy_balancer
tomcat cluster：ajp connector
(3) httpd + tomcat cluster，需要额外编译安装，现在不流行了，httpd调度目前主要使用前两种方式，以下将不演示该方法的实现
httpd: mod_jk
tomcat cluster：ajp connector，实现反代和会话保持
(4) nginx + tomcat cluster 一个nginx调度用户请求到tomcat
3 例子
3.1 环境准备
实验前首先实现时间同步和主机名解析
环境如下
host 172.18.50.75为www面向客户端，作为调度器，两种安装方法，安装nginx和httpd，这里通过两种方法演示调度器
172.18.50.72 和73，为tomcat server
安装软件; 172.18.50.72 和73
yum install java-1.8.0-openjdk-develyum install tomcat tomcat-lib tomcat-admin-webapps tomcat-docs-webapp tomcat-webapps
172.18.50.72 和73 建议将主机名写入hosts，如172.18.50.72 node1 ,73为node2 ;解析主机名
准备tomcat虚拟主机test和站点页面
mkdir -pv /usr/share/tomcat/webapps/test/WEB-INFvim /usr/share/tomcat/webapps/test/index.jsp
#页面内容如下
<%@ page language="java" %><html> <head><title>Tomcat7B</title></head> <body> <h1><font color="blue">Tomcat7B.sunny.com</font></h1> <table align="centre" border="1"> <tr> <td>Session ID</td> <% session.setAttribute("sunny.com","sunny.com"); %> <td><%= session.getId() %></td> </tr> <tr> <td>Created on</td> <td><%= session.getCreationTime() %></td> </tr> </table> </body></html>
重启tomcat服务
systemctl restart tomcat
测试
在浏览器上测试，输入http://172.18.50.72:8080/test和 http://172.18.50.73:8080/test可以看到蓝色和红色的相关session内容，到这里环境环境准备完成
3.2 调度配置
实现调度这里介绍三种方法
调度器配置参数
BalancerMember：
格式：BalancerMember [balancerurl] url [key=value [key=value ...]]
status：
D：worker被禁用，不会接受任何请求。
S：worker被管理性的停止。
I：worker处于忽略错误模式，并将始终被视为可用。
H：worker处于热备份模式，只有在没有其他可行的worker时才能使用。
E：worker处于错误状态。
N：worker处于流失模式，只会接受发往自己的现有粘性会话，并忽略所有其他请求。
loadfactor：负载因子，即权重；
lbmethod：
设置调度算法，负载均衡算法三种：
byrequests 为roundrobin,
bybusiness:根据后端的繁忙程度来调度
bytraffic:根据流量来调度，根据流量较空闲来调度
stickysession：
平衡器粘滞的会话名称。 该值通常设置为类似于JSESSIONID或PHPSESSIONID的值，并且取决于支持会话的后端应用程序服务器。 如果后端应用程序服务器的cookie使用不同的名称和url编码的id使用不同的名称（如servlet容器），请使用| 分开他们。 第一部分是cookie,第二部分是路径。在Apache HTTP Server 2.4.4及更高版本中可用。
方法一：配置nginx，实现调度器
vim /etc/nginx/conf.d/vhost.confupstream tcsrvs { server 172.18.50.72:8080; server 172.18.50.73:8080; } server { location / { proxy_pass http://tcsrvs; } }
重启nginx，在浏览器输入 http:172.18.50.75/test可以查看到不同内容，已经实现调度
或者用curl命令测试调度
for i in {1..10}; do curl -s http://172.18.50.75/test/index.jsp | grep -i tomcat;done
方法二：配置httpd，基于http模块实现调度
配置如下
vim /etc/httpd/conf.d/http-tomcat.conf<proxy balancer://tcsrvs> BalancerMember http://172.18.50.72:8080 BalancerMember http://172.18.50.73:8080 ProxySet lbmethod=byrequests</Proxy><VirtualHost *:80> ServerName lb.sunny.com ProxyVia On ProxyRequests Off ProxyPreserveHost On <Proxy *> Require all granted </Proxy> ProxyPass / balancer://tcsrvs/ ProxyPassReverse / balancer://tcsrvs/ <Location /> Require all granted </Location></VirtualHost>
测试
重启http，在浏览器输入 http:172.18.50.75/test可以查看到不同内容，已经实现调度
或者用curl命令测试调度
for i in {1..10}; do curl -s http://172.18.50.75/test/index.jsp | grep -i tomcat;done
方法三：配置httpd，基于ajp模块实现调度, 后端tomcat依靠ajp协议提供服务
vim /etc/httpd/conf.d/ajp-tomcat.conf<proxy balancer://tcsrvs> BalancerMember ajp://172.18.50.72:8009 BalancerMember ajp://172.18.50.73:8009 ProxySet lbmethod=byrequests</Proxy> <VirtualHost *:80> ServerName lb.sunny.com ProxyVia On ProxyRequests Off ProxyPreserveHost On <Proxy *> Require all granted </Proxy> ProxyPass / balancer://tcsrvs/ ProxyPassReverse / balancer://tcsrvs/ <Location /> Require all granted </Location></VirtualHost>
测试
重启http，在浏览器输入 http:172.18.50.75/test可以查看到不同内容，已经实现调度
或者用curl命令测试调度
for i in {1..10}; do curl -s http://172.18.50.75/test/index.jsp | grep -i tomcat;done
另外，可以关闭掉后端一台主机，会发现调度器75已经不会再调度请求到对应的失败主机上，因为httpd默认有健康检查功能，移除主机速度快，但是当主机恢复正常后，即被关闭的服务器重新启动tomcat 8005主进程后，健康检查就很慎重，要一段时间后才会重新添加恢复的主机为正常
标记后端主机不可用，就不会再次调度到该台被标记位D的主机，如下例子，则将不会被调度到172.18.50.72这台机器上
<proxy balancer://tcsrvs> BalancerMember ajp://172.18.50.72:8009 status=D BalancerMember ajp://172.18.50.73:8009 ProxySet lbmethod=byrequests</Proxy>
httpd的balance模块
httpd的balance模块有内键的状态管理接口，可以启用 balancer-manager，内键管理接口，启用内键管理器,不要开放给任何人访问，如指定固定ip 172.18.50.99这台主机才能访问该链接。在httpd的子配置文件里添加如下的配置
<Location /balancer-manager> SetHandler balancer-manager ProxyPass ! Require all granted order deny,allow deny from all allow from 172.18.50.99 </Location>
测试，在浏览器里输入http://172.18.50.75/balancer-manager 查看。同时，该页面的链接部分，点击进入后可以实现相关的管理配置。
到这里，调度的方法介绍完成。
3.3 session sticky
基于cookie会话绑定，依赖调度器，需要在调度器上配置
基于ajp协议调度，当后端服务器状态不变时（基于env=BALANCER_ROUTE_CHANGED这个关键字实现），不会重新调度，同一请求会调度到同一机器上
http的配置文件，env这个选项表示当后端服务器发生变化的时候，会话绑定才会变化，否则不变
调度器75上子配置文件配置如下
Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED<proxy balancer://tcsrvs> BalancerMember ajp://172.18.50.72:8009 route=Tomcat7B BalancerMember ajp://172.18.50.73:8009 route=Tomcat7C ProxySet lbmethod=byrequests ProxySet stickysession=ROUTEID</Proxy>
virtualhost部分配置不变，见上面调度器的配置
tomcat 72和73上配置如下，只需在engine配置段里添加jvmRoute的键值对即可
vim /usr/share/tomcat/conf/server.xml<Engine name="Catalina" defaultHost="localhost" jvmRoute="tc7b">
测试，在浏览器上输入http://172.18.50.75/test/，当后端的服务器不发生变化，则同一请求始终会被调度到同一台服务器上，得到的session和内容是一样的。
httpd基于http协议的调度方法和ajp协议基本一致。更改协议和端口即可。
注意这里http不支持基于源地址绑定。nginx可以基于源地址进行调度，这里的调度也可以使用haproxy来实现。
这里还有另一种配置实现了会话的绑定，如通过proxypass 配置段里添加stickysession=jsessionid 来构建，但是一般不采用如下的配置，因为有可能jssesionid带有服务器本身的内容，如节点的标志，导致hash值每次不一样，不能实现会话绑定的效果，所以一般不基于这种方式来实现会话绑定，这里就不做配置，建议使用上面的例子来实现会话的绑定。
3.4 session cluster
session replication cluster方法实现会话集群即节点会变，但是会话id不变的效果
主要在后端服务器把后端的服务器构建成会话集群，每一个节点本地获取到新的会话或者更改会话值的时候，要通过后端的会话集群信道，将会话同步到后端的所有服务器上
通过多播实现session的传输复制到每一台后端服务器上，每个收到新的会话信息时，会更新自己的会话集，所以后续调度器根据调度算法随意调度到任意主机，都保存对应的会话信息，可以处理请求，可以返回相应的信息。这里的会话一般是通过多播发送的给其他主机，即基于多播实现会话扩散。
集群有多种会话管理器
persistent manager(持久会话管理器)，默认的会话管理器，会话会被同步到磁盘内，即使关机，会话依然存在。
delta manager（会话管理器）使用多播集群构建replication cluster要通过delta manager会话管理器来实现,这里可以理解为每一次传递都是通过增量传递，会话只传递更新的部分会话
backup manager （备用会话管理器） 工作逻辑是会话的复制只在有限的主机间复制，如两台，而不是全部的主机，调度时只调度到其中一台，当这台主机异常，才会调度到另一台主机
这里演示基于Delta Manager的会话绑定，不依赖于调度器，即不需要在前端调度器上配置会话绑定的配置，只需配置调度即可。在后端tomcat上配置cluster，是app级别的，如果直接配置在engine中，则对该engine对应的所有app都有效，也可以直接配置在app中，即一般是放在在host中，只对对应的app生效。
tomcat上相关配置介绍如下
(1) 配置启用集群，将下列配置放置于<engine>或<host>中；多播地址建议不要使用默认的，节点设定为一致<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"channelSendOptions="8"> #建议放在对应的host段里<Manager className="org.apache.catalina.ha.session.DeltaManager"expireSessionsOnShutdown="false"notifyListenersOnReplication="true"/>#定义manager，表示调用哪个manager，如这里使用deltamanager.可以使用会话ha功能，即会话可以同步到其他节点<Channel className="org.apache.catalina.tribes.group.GroupChannel"><Membership className="org.apache.catalina.tribes.membership.McastService"address="228.0.0.4" #建议更改主播地址port="45564"frequency="500" #心跳时间dropTime="3000"/> #判定异常的间隔，超出这个间隔就判断为异常<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver" address="auto" #绑定在本机正常通信的地址，auto自动找，不建议，绑定的地址为auto时，会自动解析本地主机名，并解析得出的IP地址作为使用的地址；建议直接设定本机ip,如172.18.50.75，port="4000"autoBind="100"selectorTimeout="5000" #挑选器的超时时间maxThreads="6"/> #最大线程数，表示一共启用多少线程来接收其他主机传过来的会话，如集群4台，这里就设置为3就足够了。 # Receiver表示定义一个接收器，接收别人传过来的多播信息<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter"># Sender是定义如何把会话信息发送给同一集群中的其他节点<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/></Sender><Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/><Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>#Interceptor解析器，解析当什么时候</Channel># Channel是定义集群成员关系<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"filter=""/> #valve阀门，考虑到jvmRoute<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/><Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"tempDir="/tmp/war-temp/"deployDir="/tmp/war-deploy/"watchDir="/tmp/war-listen/"watchEnabled="false"/> #自动发布该内容到所有机器上<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>#ClusterListener监听java集群资源是否发生变化，如果发生变化要如何变得集群的变化。<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/></Cluster> 确保Engine的jvmRoute属性配置正确。 (2) 配置webapps编辑WEB-INF/web.xml，添加<distributable/>元素；这个要手动添加
例子
编辑tomcat主机,
步骤一，修改配置文件，有两个地方需要配置
一是engine里需要添加jvmRoute配置
二是 Cluster配置放在host配置段里，以下配置只需要调整组播地址和本机的ip，其他地方不需要调整。两台tomcat都需要配置
vim /usr/share/tomcat/conf/server.xml <Engine name="Catalina" defaultHost="localhost" jvmRoute="tc7b">#以下放在host配置段里<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"channelSendOptions="8"><Manager className="org.apache.catalina.ha.session.DeltaManager"expireSessionsOnShutdown="false"notifyListenersOnReplication="true"/><Channel className="org.apache.catalina.tribes.group.GroupChannel"><Membership className="org.apache.catalina.tribes.membership.McastService"address="228.0.0.4" #需要更改port="45564"frequency="500"dropTime="3000"/><Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"address="172.18.50.72" #调整为本机的ip，不使用默认的autoport="4000"autoBind="100"selectorTimeout="5000"maxThreads="6"/><Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter"><Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/></Sender><Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/><Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/></Channel><Valve className="org.apache.catalina.ha.tcp.ReplicationValve"filter=""/><Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/><Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"tempDir="/tmp/war-temp/"deployDir="/tmp/war-deploy/"watchDir="/tmp/war-listen/"watchEnabled="false"/><ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/><ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/></Cluster>
步骤二
集群会话的app的web.xml里需要配置<distributable/>这个元素，配置在web.xml的web-app配置段里即可。一般程序员开发的站点web.xml这个文件肯定是存在的，而且是放在WEB-INF目录下，不过实验环境没有，所以就拷贝公共的web.xml到对应主机目录下
cp /etc/tomcat/web.xml /usr/share/tomcat/webapps/test/WEB-INF/vim /usr/share/tomcat/webapps/test/WEB-INF/web.xml<distributable/>
保存后退出。重启tomcat服务器
测试：在浏览器上输入http://172.18.50.75/test/，可以看到此时请求被调度到不同的机器上，但是，页面上的session id始终保持不变。则实验成功。说明在不同的服务器上已经有同一session id。即实现了会话集群即节点会变，但是会话不变。
3.5 session server
借助第三方的工具memcached实现，tomcat cluster将会话保存至memcached中，通过memcached来实现。把memcached当做tomcat的session server，不需要在前端做绑定会话，不需要在tomcat服务器绑定会话。后端的memcache需要做高可用，后端支持两台memcache，tomcat服务器开启双写机制，所有要存储的信息都同时写入后端的两台memcache里，读取数据时可以只读取一台，当memcache主服务器挂掉，就启用备用的memcache.支持分布式，空间不够可以扩容
配置案例的介绍链接，如下：https://github.com/magro/memcached-session-manager/wiki/SetupAndConfiguration
tomcat自身不直接把会话保存在memcache中，需要借助开发工具来实现。相应的项目官方代码可以直接从github上搜到。资源链接：https://github.com/magro/memcached-session-manager
对tomcat而言，要把会话保存在memcache中，有以下几种类库
第一：要使用专门的会话管理工具memcache-session-manager的类库，如 memcached-session-manager-${version}.jar 和 memcached-session-manager-tc7-${version}.jar（如tomcat是7版本）这个类库
第二： 会话是保存在内存中，不支持流式化，借助流式化工具实现，流式化工具有如下四种，可以任意用一种，这些是类库，需要装入tomcat才能使用
kryo-serializer: msm-kryo-serializer, kryo-serializers-0.34+, kryo-3.x, minlog, reflectasm, asm-5.x, objenesis-2.x
javolution-serializer: msm-javolution-serializer, javolution-5.4.3.1
xstream-serializer: msm-xstream-serializer, xstream, xmlpull, xpp3_min
flexjson-serializer: msm-flexjson-serializer, flexjson
第三：支持适配对应存储系统的类库，如要使得tomcat和memcached能通信，要有能适配memcached客户端的类库，如 spymemcached-${version}.jar。如果存储是redis,则要使用jedis-2.9.0.jar.
这里介绍流式工具为javolution-serializer的部署
例子
步骤一
前端调度器上不需要做绑定的设置，只需要配置调度即可
步骤二
找两台服务器172.18.50.62和63，安装memcached，并启用memcached服务。
yum -y install memcachedsystemctl restart memcached
步骤三
后端tomcat 72和73 在如下的路径放置相关的jar包
/usr/share/tomcat/webapps/test/WEB-INF/lib/路径下放置两个类库
javolution-5.4.3.1.jar
msm-javolution-serializer-2.1.1.jar
/usr/share/tomcat/lib/路径下放置三个类库
memcached-session-manager-2.1.1.jar
memcached-session-manager-tc7-2.1.1.jar
spymemcached-2.12.3.jar
编辑配置文件server.xml,放置host配置段里，如下
vim /usr/share/tomcat/conf/server<Context path="/test" docBase="/usr/share/tomcat/webapps/test" reloadable="true"> <Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager" memcachedNodes="n1:172.18.50.62:11211,n2:172.18.50.63:11211" failoverNodes="n1" requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$" transcoderFactoryClass="de.javakaffee.web.msm.serializer.javolution.JavolutionTranscoderFactory" /> </Context>
重启tomcat服务器
测试
在浏览器里输入http://172.18.50.75/test,不管怎么调度, session id始终不变，但是网页上的其他内容已经发生变化，说明实验成功。
本文出自 “阳光运维” 博客，请务必保留此出处http://ghbsunny.blog.51cto.com/7759574/1982321