CentOS 7 学习(三)配置Tomcat集群

时间:2022-02-04 16:56:37


所谓集群,就是把多台服务器集合起来,对外提供一个接口访问,对用户来说完全透明,常用的办法就是前端放一个服务器,将用户请求分发到不同的服务器,大致有以下几种方案
1)采取DNS轮询:将用户的连接解析到不同的服务器上,这会产生一个问题,如果一个服务器宕掉,DNS无法及时更新,就会出现问题
2)反向代理服务器:将用户的连接转发到不同的服务器上,这有两种方式,一个是修改HTTP头,让用户的连接转到固定的服务器,以后不再和代理服务器交互,这会修改用户浏览器里的地址,可能会不怎么友好;如果不修改地址,用户总是通过代理服务器转接,这个代理服务器可能会成为瓶颈。
3)MAC地址转发,所有的服务器IP地址相同,通过设备指向不同的机器。
对于代理问题,会产生Session共享的问题,有一种办法就是针对特定用户固定在一台服务器上,这样就不存在Session共享的问题了,这种方法最简单,但是其算法效率比较重要,需要自己选择。还有就是将所有服务器的Session共享,比如放在数据库里、共享目录里或者MemCached里等,但是这些实现方式都有一定的问题,比如保存的数据需要序列化、共享服务器会成为系统薄弱点;再有就是将Session复制,让所有的服务器保持相同的Session信息,这种情况如果需要服务器过多,会严重的影响性能。
系统配置
CentOS 7,192.168.1.14,Apache 80, Nginx 808, Tomcat8 8081, Tomcat8 8082

可选的方案
1)Nginx:固定服务器访问,这个非常简单,修改nginx.conf,采用ip_hash指令,如下
http {
.............
upstream tomcat_server_pool{
ip_hash;
server 192.168.1.14:8081 weight=4 max_fails=2 fail_timeout=30s;
server 192.168.1.14:8082 weight=4 max_fails=2 fail_timeout=30s;
}
server {
listen 808;
server_name localhost;

charset utf-8;

#access_log logs/host.access.log main;

if (-d $request_filename)
{
rewrite ^/(.*)([^/]) http://$host/$1$2/ permanent;
}
location / {
#root html;
index index.html index.htm index.do;

proxy_next_upstream http_502 http_504 error timeout invalid_header ;
proxy_pass http://tomcat_server_pool;
#proxy_set_header Host www.shiyq.com;
proxy_set_header X-Forwarded-For $remote_addr;
}

可以看出nginx将808端口转发到本机的8081/8082,创建一个spring mvc项目,虚拟目录为study,修改默认的文件,如下
HomeController.java,增加以下内容
@RequestMapping(value = "/index.do", method = RequestMethod.GET)
public String home_do(Locale locale, Model model,HttpServletRequest request) {
logger.info("Welcome home! The client locale is {}.", locale);

Date date = new Date();
DateFormat dateFormat = DateFormat.getDateTimeInstance(DateFormat.LONG, DateFormat.LONG);

String formattedDate = dateFormat.format(date);

String host_str = ", the host is " + request.getLocalAddr() + ":" + request.getLocalPort();
HttpSession session = request.getSession();

String check = request.getParameter("check");
if(check != null && !check.equals("")){
session.setAttribute("name", "石永强");
}

logger.info("the name in session is {}", (String)session.getAttribute("name"));
String test_Str = (String) session.getAttribute("host_str");


model.addAttribute("serverTime", formattedDate + ", the host is "+ host_str);

model.addAttribute("name",session.getAttribute("name"));

model.addAttribute("sessionId",session.getId());

return "home";
}
修改home.jsp,内容如下
<%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c" %>
<%@ page session="false" %>
<html>
<head>
<title>Home</title>
</head>
<body>
<h1>
Hello world!
</h1>

<P> The time on the server is ${serverTime}. </P>
<P> The name in session is ${name}. </P>
<P> The session id is ${sessionId}. </P>
</body>
</html>
有时候会出现乱码的问题,修改如下内容
在web.xml中加上如下
<filter>
<filter-name>Encoding</filter-name>
<filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
<init-param>
<param-name>encoding</param-name>
<param-value>UTF-8</param-value>
</init-param>
<init-param>
<param-name>forceEncoding</param-name>
<param-value>true</param-value>
</init-param>
</filter>
<filter-mapping>
<filter-name>Encoding</filter-name>
<url-pattern>/*</url-pattern>
</filter-mapping>

上述配置适合解决method=post的问题,如果需要get方式支持中文,如form用get方式提交,或者点击链接支持中文,则需要修改 Tomcat根目录的 conf/server.xml文件中,找<Connector port="8080" />,在里面加<Connector port="8080" uRIEncoding="utf-8" />
注意如果用于开发服务器,需要找到正确的位置,如Eclipse的Servers下的配置文件。
但是在地址栏输入中文,仍然无法支持,只能禁止这种方式。
在这种情况下,访问http://192.168.1.14:808/study/index.do?check=1
输出为
Hello world!
The time on the server is 2014年8月6日 上午11时39分48秒, the host is , the host is 192.168.1.14:8081.

The name in session is 石永强.

The session id is C318A769671490E6822C04752499380F.
刷新之后,可以看到访问的是固定的服务器,这样就能保证用户Session不会出问题
2)使用MemCache
这需要Nginx的session插件,还需要tomcat的memcache插件,可是code.google.com访问不了,虽然文档很多,也实现不了,看以后吧。
只能采用Session复制的方式
3)tomcat 8配置cluster非常简单,当然,这种集群方式采取广播的方式复制Session,当数量到了一定程度必然会引起广播风暴,不适合大型系统
最简单的设置方法:
A)将server.xml中<Cluster>标签注释去掉,默认如下
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>
B)在需要复制Session的web-app中的web.xml增加一行:<distributable/>
C)关掉防火墙:service iptables stop,如果使用的是firewalld,使用命令service firewalld stop
设置Cluster需要注意的地方(官方文档)
a)所有的session属性必须实现java.io.Serializable
b)去掉server.xml中Cluster元素的注释
c)如果要定制valves,确保要设置ReplicationValve
d)确保在web.xml中增加<distributable/>
e)如果使用了mod_jk,在Engine中要设置jvmRoute属性为 workers.properties的worker名称一致
f)确保所有的时间都相同,经过NTP服务器的同步
g)确保你的负载均衡设置为会话粘连模式(sticky session mode)
在浏览器中访问http://192.168.1.104:808/study/index.do,会发现在设置了ip_hash的情况下,根据页面提示,会发现总是访问一个服务器,将这个tomcat关掉,再刷新页面,就会发现自动访问另一个tomcat,而session信息不变。
而且,如果去掉了ip_hash模式,nginx会自动按顺序依次访问系统,但其session ID不变。
如果要更好的测试可以,可以分别访问http://192.168.1.14:8081/study/index.do和http://192.168.1.14:8082/study/index.do,会发现是一致的session ID,而且还可以访问http://192.168.1.14:8081/study/index.do?check=1,这时候已经设置了session的属性值,然后访问http://192.168.1.14:8082/study/index.do,就可以知道确实发生了Session复制。
如果需要更复杂的定制效果,可以看一下文档
对于防火墙的问题,可以增加如下规则
iptables -A INPUT -i eth0 -d 224.0.0.4 -j ACCEPT
vim /etc/sysconfig/iptables
增加以下内容:
-A INPUT -p udp -m state --state NEW -m udp --dport 45564 -j ACCEPT
启动防火墙
service iptables save
service iptables start
3)Apache+mod_jk+tomcat方案
a)下载apache开发包
yum install httpd-*
b)下载mod_jk
wget http://mirrors.cnnic.cn/apache/tomcat/tomcat-connectors/jk/tomcat-connectors-1.2.40-src.tar.gz
tar xvf tomcat-connectors-1.2.40-src.tar.gz
cd tomcat-connectors-1.2.40-src.tar.gz
cd native
./configure --with-apxs=/bin/apxs
make
make install
c)配置Apache
因为httpd.conf包含conf.module.d目录下文件,在此目录下新建00-add.conf,输入以下内容

LoadModule jk_module modules/mod_jk.so #加载模块
JkWorkersFile conf/worker.properties #加载mod_jk配置文件

JkMount /* worker3 #将根目录转发到worker3,worker3是一个负载均衡服务器,包含两台apache服务器

<IfModule dir_module>
DirectoryIndex index.jsp index.do
</IfModule>
d)在conf目录下建立workder.properties文件,内容如下
worker.list = worker3
worker.worker1.type=ajp13
worker.worker1.host=localhost
worker.worker1.port=8009
worker.worker1.lbfactor=1
worker.worker1.connection_pool_timeout=600
worker.worker1.socket_keepalive=1
worker.worker1.socket_timeout=60

worker.worker2.type=ajp13
worker.worker2.host=localhost
worker.worker2.port=8010
worker.worker2.lbfactor=1
worker.worker2.connection_pool_timeout=600
worker.worker2.socket_keepalive=1
worker.worker2.socket_timeout=60

worker.worker3.type = lb
worker.worker3.balance_workers = worker1, worker2
可以看出worker1对应本机的8009端口,即前面配置过的tomcat8-1,worker2对应本机的8010端口,即之前配置过的tomcat8-2服务器,worker3代表负载均衡服务器,包括两个成员worker1,worker2
e)配置tomcat
vim /work/tomcat8-1/conf/server.xml
修改如下内容,在Engine标签增加jvmRoute="worker1"
<Engine name="Catalina" defaultHost="localhost" jvmRoute="worker1">
vim /work/tomcat8-2/conf/server.xml
修改如下内容,在Engine标签增加jvmRoute="worker2"
<Engine name="Catalina" defaultHost="localhost" jvmRoute="worker2">
f)重启Apache和tomcat,浏览器中输入http://192.168.1.14/study/index.do,可以看到类似的内容
The time on the server is 2014年8月6日 下午05时21分04秒, the host is , the host is 192.168.1.14:80.

The name in session is .

The session id is AE132D73152E74C043ED64ED6F27707E.worker2.
这里有一个有意思的事情,session id会增加一个i额后缀,即worker1或者workder2,应该是jvmRoute的作用,但本质来说还是一个session
用mod_jk的一个问题是不知道访问的是哪台机器,因为显示的apache的地址端口,通过session可以知道到底是哪台机器。
之前我们配置过nginx的均衡,浏览器输入http://192.168.1.14:808/study/index.do
会看到session id去掉后缀确实是一样的,而且运行http://192.168.1.14:808/study/index.do?check=1可以看到session信息是共享的。

总体来说,用nginx配置负载均衡要容易的多,mod_jk要麻烦一些,tomcat的session复制也非常容易,只不过要记住配置防火墙,如果出现问题,要第一时间关掉防火墙,有可能就好了。