Docker + Nginx + Tomcat 实现负载均衡
环境
[root@pinyoyougou-docker ~]# docker -v
Docker version 1.12.6, build 85d7426/1.12.6
[root@pinyoyougou-docker ~]# rpm -qi centos-release
Name : centos-release
Version : 7
Release : 3.1611.el7.centos
Architecture: x86_64
Install Date: 2017年09月03日 星期日 14时07分06秒
Group : System Environment/Base
Size : 37000
License : GPLv2
Signature : RSA/SHA256, 2016年11月30日 星期三 02时57分12秒, Key ID 24c6a8a7f4a80eb5
Source RPM : centos-release-7-3.1611.el7.centos.src.rpm
Build Date : 2016年11月30日 星期三 02时12分59秒
Build Host : c1bm.rdu2.centos.org
Relocations : (not relocatable)
Packager : CentOS BuildSystem <http://bugs.centos.org>
Vendor : CentOS
Summary : CentOS Linux release file
Description :
CentOS Linux release files
Docker 配置
2个 Tomcat 容器，1个 Nginx 容器。
[root@pinyoyougou-docker ~]# docker ps -a
IMAGE STATUS PORTS NAMES
nginx Up 40 seconds 0.0.0.0:80->80/tcp pinyougou_nginx
tomcat:7-jre7 Up 50 seconds 0.0.0.0:9002->8080/tcp pinyougou_tomcat2 # 172.17.0.2
tomcat:7-jre7 Up 46 seconds 0.0.0.0:9001->8080/tcp pinyougou_tomcat1 # 172.17.0.3
Nginx 配置
upstream tomcatserver1 {
server 172.17.0.2:8080;
server 172.17.0.3:8080;
}
server {
listen 80;
server_name passport.pinyougou.com;
location / {
proxy_pass http://tomcatserver1/;
index index.html index.htm;
}
charset utf-8;
}
应用结构
[root@pinyoyougou-docker ~]# tree tomcat-webapp-2
tomcat-webapp-2
└── frblog
├── css
│ ├── blog.css
│ ├── jdreset.css
│ └── reset.css
├── img
│ ├── banner.jpg
│ ├── lion.jpg
│ ├── pic01.jpg
│ ├── pic02.jpg
│ ├── pic03.jpg
│ ├── \347\210\261\345\277\203.svg 中文名称
│ ├── \347\250\213\345\272\217.svg
│ ├── \345\220\221\344\270\212\347\256\255\345\244\264.svg
│ └── \351\222\273\347\237\263.svg
├── index.html
└── js
├── jquery-3.3.1.js
└── show.js
Bugs
502 Bad Gateway
Nginx 配置中 server 错误地使用了宿主机的地址和端口号。tomcat 在 docker 容器中，server 应该使用 tomcat 对应的 docker 容器的地址和端口。
upstream tomcatserver1 {
server 192.168.211.134:9001; # 错误， tomcat 在 docker 容器中，应该使用 docker 容器的地址和端口。
server 192.168.211.134:9002; # 错误， tomcat 在 docker 容器中，应该使用 docker 容器的地址和端口。
}
server {
listen 80;
server_name passport.pinyougou.com;
location / {
proxy_pass http://tomcatserver1/;
index index.html index.htm;
}
charset utf-8;
}
刷新网页浏览器总是使用缓存
刷新网页浏览器总是使用缓存，导致无法观察到 Nginx 负载均衡的效果。需要每次刷新网页时，浏览器都向 Nginx 请求网页。
方案：ctrl + f5 强制刷新，则每次浏览器都会重新发送请求。
docker WARNING: IPv4 forwarding is disabled. 解决方法
https://blog.****.net/deeplearnings/article/details/81639153
# 在宿主机上面执行：
echo net.ipv4.ip_forward=1 >> /usr/lib/sysctl.d/00-system.conf
# 重启network和docker服务
systemctl restart network && systemctl restart docker
tomcat nginx URL 中文地址无法解析
# 项目结构如下，其中网页可以正常打开，但是中文名称的图片资源 404 。
[root@pinyoyougou-docker ~]# tree tomcat-webapp-2
tomcat-webapp-2
└── frblog
├── css
│ ├── blog.css
│ ├── jdreset.css
│ └── reset.css
├── img
│ ├── banner.jpg
│ ├── lion.jpg
│ ├── pic01.jpg
│ ├── pic02.jpg
│ ├── pic03.jpg
│ ├── \347\210\261\345\277\203.svg 【中文图片】
├── index.html
└── js
├── jquery-3.3.1.js
└── show.js
查看 Linux 的字符集
root@c24a4d7f35bc:/usr/local/tomcat/conf# echo $LANG
C.UTF-8
1.在Nginx 的 nginx.conf 设置字符集。
server {
charset utf-8;
}
2.在 Tomcat 的 server.xml 设置字符集
<Connector port="8080" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443"
URIEncoding="UTF-8"/>
网页正常访问，但是总是有部分 css img js 报 404 。
原因：我被负载均衡的2个应用文件结构不一样，负载均衡将所有的请求轮询，所以造成了有些文件找不到的情况。
示例：网页访问 http://passport.pinyougou.com/frblog/index.html 。如果请求的是复杂的那个应用，则需要加载 js css img 资源。这些请求都是被轮询，如果轮询到简单应用，没有对应的资源，报 404 。
# 172.17.0.3:8080
[root@pinyoyougou-docker ~]# tree tomcat-webapp-1/frblog/
tomcat-webapp-1/frblog/
└── index.html
# 172.17.0.2:8080
[root@pinyoyougou-docker ~]# tree tomcat-webapp-2
tomcat-webapp-2
└── frblog
├── css
│ ├── blog.css
│ ├── jdreset.css
│ └── reset.css
├── img
│ ├── banner.jpg
│ ├── lion.jpg
│ ├── pic01.jpg
│ ├── pic02.jpg
│ ├── pic03.jpg
│ ├── \347\210\261\345\277\203.svg 【中文图片】
├── index.html
└── js
├── jquery-3.3.1.js
└── show.js
使用 nginx 服务器对应域名访问正常，使用 nginx 服务器对应 ip 报 404 Not Found
http://192.168.211.134/frblog 报错，404 Not Found
http://passport.pinyougou.com/frblog/ 正常访问
192.168.211.134 passport.pinyougou.com # hosts 文件内容
nginx.conf 配置文件配置的是域名。所以如果 url 中使用的是 nginx 服务器的 ip 地址，而不是 nginx 服务器对应的域名时，虽然能够请求到 nginx 服务器。但是因为 url 匹配不成功不会代理。会报 404 not found 。
upstream tomcatserver1 {
server 172.17.0.2:8080;
server 172.17.0.3:8080;
}
server {
listen 80;
server_name passport.pinyougou.com;
location / {
proxy_pass http://tomcatserver1/;
index index.html index.htm;
}
}