Squid 反向代理加速网站

时间:2021-12-03 15:22:50

本实例的域名是 wenjin.cache.ibm.com.cn,通过DNS的轮询 技术,将客户端的请求分发给其中一台 Squid 反向代理服务器处理,如果这台 Squid 缓存了用户的请求资源,则将请求的资源直接返回给用户,否则这台 Squid 将没有缓存的请求根据配置的规则发送给邻居 Squid 和后台的 WEB 服务器处理,这样既减轻后台 WEB 服务器的负载,又提高整个网站的性能和安全性。该系统结构图 3 如下:

图 3. 系统结构
Squid 反向代理加速网站

配置的系统环境:

  • 一台 DNS 服务器:操作系统 Freebsd,软件 BIND 9.5,IP 192.168.76.222 ;
  • 三台 Squid 服务器:操作系统 Linux AS 4,软件 Squid 3.0,相应的 IP 如下:
Squid1:192.168.76.223 
Squid2:192.168.76.224
Squid3:192.168.76.225
  • 三台 WEB 服务器:操作系统 Linux AS 4,应用软件 Tomcat 5.0+Mysql,相应的 IP 地址如下:
webServer1:210.82.118.195 
webServer2:192.168.76.226
webServer1:192.168.76.227

应用软件的安装和配置

配置 DNS 服务器

软件利用 Freebsd 自带的 bind 9.5 。然后针对该系统配置 bind,首先修改 bind 的配置文件 /etc/namedb/named.conf,在文件中添加

zone "cache.ibm.com.cn"{ 
type master;
file "master/ cache.ibm.com.cn ";
};

再在 /etc/namedb/master 目录下添加 cache.ibm.com.cn 文件,该文件的内容如下:

$TTL    3600 
@ IN SOA search. ibm.com.cn. root. ibm.com.cn. (
20080807 ; Serial
3600 ; Refresh
900 ; Retry
3600000 ; Expire
3600 ) ; Minimum
IN NS search.ibm.com.cn.
1 IN PTR localhost.ibm.com.cn.
wenjin IN A 192.168.76.223
wenjin IN A 192.168.76.224
wenjin IN A 192.168.76.225

这样当用户请求的时候,DNS 通过轮询机制将 wenjin.cache.ibm.com.cn 的域名解析为 192.168.76.223、192.168.76.224 和 192.168.76.225 其中之一。

配置完成后,运行 rndc star t 启动 bind 服务。可在 /etc/rc.conf 中设置 named_enable="YES" 使得开机自启动。

用 ps – A |grep named 查看 bind 服务是否起来;

用 nslookup wenjin.cache.ibm.com.cn 测试 bind 服务是否正常运行。

配置 Squid1 服务器

  1. 下载 squid-3.0.STABLE8.tar.gz 源码包,将其放在 /home 目录下
  2. 解压缩tar – zxvf squid-3.0.STABLE8.tar.gz 
    设置配置参数:cd squid-3.0.STABLE10 
    ./configure – prefix=/usr/local/squid

    将 squid 安装在 /usr/local 目录下

  3. 编译安装:make&make install安装完以后会在 /usr/local 目录下看见 squid 目录。
  4. 配置 squid 配置文件

    编辑 squid.conf 文件,vi /usr/local/squid/etc/squid.conf

    cache_effective_user squid 
    cache_effective_group squid
    ######### 设定 squid 的主机名 , 如无此项 squid 将无法启动
    visible_hostname squid1.nlc.gov.cn
    ############# 配置 squid 为加速模式 #################
    http_port 80 accel vhost vport
    icp_port 3130
    ##### 配置 squid2、squid3 为其邻居,当 squid1 在其缓存中没有找到请求的资源时,
    通过 ICP 查询去其邻居中取得缓存
    cache_peer squid2.ibm.com.cn sibling 80 3130
    cache_peer squid3.ibm.com.cn sibling 80 3130
    ##### squid1 的三个父节点,originserver 参数指明是源服务器,
    round-robin 参数指明 squid 通过轮询方式将请求分发到其中一台父节点;
    squid 同时会对这些父节点的健康状态进行检查,如果父节点 down 了,
    那么 squid 会从剩余的 origin 服务器中抓取数据
    cache_peer 210.82.118.195 parent 8080 0 no-query originserver round-robin \
    name=webServer1
    cache_peer 192.168.76.226 parent 8080 0 no-query originserver round-robin \
    name=webServer2
    cache_peer 192.168.76.227 parent 8080 0 no-query originserver round-robin \
    name=webServer3
    #### 将 wenjin.cache.ibm.com.cn 域的请求通过 RR 轮询方式转发到三个父节点中的一个
    cache_peer_domain webServer1 webServer2 webServer3 wenjin.cache.ibm.com.cn
    ##### 下面是一些访问控制、日志和缓存目录的设置
    acl localnet src 192.168.76.223 192.168.76.224 192.168.76.225
    acl all src 0.0.0.0/0.0.0.0
    http_access allow all
    icp_access allow localnet
    cache_log /usr/local/squid/var/logs/cache.log
    access_log /usr/local/squid/var/logs/access.log squid
    cache_dir ufs /usr/local/squid/var/cache/ 1000 16 256
    ####### 对 squid 的一些优化 ###############
    maximum_object_size 10240 KB ### 能缓存的最大对象为 10M
    maximum_object_size_in_memory 512 KB ### 内存中缓存的最大对象 512K
    cache_mem 256 MB ###squid 用于缓存的内存量

    保存后 :wq 退出。

    在 /etc/hosts 文件中添加

    192.168.76.223  squid1.ibm.com.cn 
    192.168.76.224 squid2.ibm.com.cn
    192.168.76.225 squid3.ibm.com.cn

    保存后 : wq 退出。

    检查 squid 配置文件正确与否:/usr/local/squid/bin/squid – k parse

    生成缓存目录/usr/local/squid/bin/squid – z

    启动squid:/usr/local/squid/bin/squid

    配置 squid2 和 squid3 服务器

    squid2 和 squid3 服务器的配置方法和配置参数和 squid1 一样,配置完成后,分别启动这两个服务器上的 squid 服务。

    在 squid 的日志文件 cache.log 中,出现如下日志信息则说明三台 squid 之间成功配置为 sibling,且配置了三个父代理。

    2008/11/17 10:08:47| Configuring Sibling squid1.ibm.com.cn/80/3130 
    2008/11/17 10:08:47| Configuring Sibling squid3.ibm.com.cn/80/3130
    2008/11/17 10:08:47| Configuring Parent 210.82.118.195/8080/0
    2008/11/17 10:08:47| Configuring Parent 192.168.76.226/8080/0
    2008/11/17 10:08:47| Configuring Parent 192.168.76.227/8080/0
    2008/11/17 10:08:47| Ready to serve requests.

测试

测试之前,保证 DNS 服务、三台 squid 服务和三台 web 服务都正常起来。在客户端输入http://wenjin.cache.ibm.com.cn,则正确的显示该网页。服务器端的响应对客户端是透明的,客户端不知道请求是由哪台 WEB 服务器处理的;而且其中某台 Squid 服务器或 WEB 服务器发生故障,也不影响服务的正常运行。

squid2.6最正解的配置反向代理实验
CentOS5.1(squid2.6)下配置反向代理

Tool: squid-2.6.STABLE6-4.el5

拓扑图

如上图,有两个网络:公司内部私有网络:192.168.1.0/24;Internet外部网络:10.66.0.0/24。
公司内部网络有两个服务器:
Server A提供两种服务,端口81提供服务1,端口82提供服务2。
Server B提供一种服务,通过端口80来提供服务。
Squid作为公司内部服务器的反向代理,两块网卡,其IP分别是:eth0: 10.66.0.80(接Internet外部网络);eth1:192.168.1.200(接公司内部私有网络)。
Internet外部网络通过Squid代理服务器,访问公司内部服务器。例如,Client 10.66.0.174,它不能直接访问公司内部服务器,而是通过Squid访问公司内部服务器。

外部网络客户端访问公司内部网络服务器的流程,举个例子,如下:
首先,在 Client端修改 /etc/hosts文件,添加如下三行:
10.66.0.80 www.serverA1.com www
10.66.0.80 www.serverA2.com www
10.66.0.80 www.serverB.com www
注:添加这三行,目的是为了让客户端能够解析这三个域名(www.serverA1.com www.serverA2.com www.serverB.com),其对应IP为10.66.0.80(squid反向代理服务器的IP)

这里,Squid反向代理服务器监听端口:8000 (默认是:3128)

在客户端,打开浏览器,在浏览器地址栏输入: www.serverA1.com:8000 下图显示了客户端发出这个请求后,到最后收到数据的整个流程。

Phase 1:这里客户端在浏览器地址栏输入: www.serverA1.com:8000 通过Client本地 /etc/hosts 解析,域名www.serverA1.com对应的 IP 是10.66.0.80(Squid反向代理服务器),于是客户端向 Squid 反向代理服务器端口8000发送请求。
注:在客户端浏览器地址栏输入: www.serverA1.com:8000 和 http://10.66.0.80:8000 是不一样的,虽然都是请求 Squid 反向代理服务器 8000端口,但它们有本质的区别。如果通过 IP 方式 http://10.66.0.80:8000 访问 Squid 服务器,则不能实现让 Squid服务器对内部网络多个服务器作代理,此时 Squid 只能将客户端的请求向内部网络的“一个”服务器作请求。为了实现 Squid 能对内部网络多个服务器作代理,需要使用域名方式,例如这里的www.serverA1.com:8000,Squid 服务器收到这样的请求后,它会解析 Host 是 www.serverA1.com ,在 配置 Squid 时,有两个选项,cache_peer 和 cache_peer_domain,这两个配置项让 Squid 有能力知道 www.serverA1.com 这个请求最终是想访问公司内部网络服务器A(Server A)的 81 端口,从而实现了 Squid 对内部多个服务器作代理的功能需求。(关于 cache_peer和 cache_peer_domain的使用见后文)。

Phase 2:如上所述, Squid 服务器收到客户端发来的请求,一看是 www.serverA1.com。Squid知道接下来去请求公司内部网络服务器A(Server A)的 81端口。

Phase 3:Server A 提供的服务1(Service 1)监听端口 81,收到 Squid 发送过来的请求,于是根据请求发送相应数据给 Squid 服务器。

Phase 4: Squid 收到服务器A(Server A)从端口81发送过来的数据后,会将该数据在本地缓存,同时将数据从自己的 8000 端口发送给外部网络的客户端。

上面四个步骤结束后,客户端就会收到所希望的数据。
值得说明的是:在整个过程中,公司内部网络的服务器对客户端是透明的,即客户端并不知道内部网络究竟有哪些服务器,提供哪些服务。客户端仅仅是访问 Squid 服务器的8000端口,然后获得相应的数据。

理解上面 Squid 作代理,客户端的请求流程后,下面介绍 Squid 的一些配置项 ( squid.conf )
注:以下内容是 Squid 一些基本配置项的说明,其中重点解释给多个服务器作代理所涉及的配置项。需要读者对 Squid 有一些基本的认识,另外关于 Squid 还有很多没提到的配置项,有些配置项是直接影响 Squid 服务器的性能,这里不作说明。
Let′s begin:)

http_port 8000 vhost # Squid 服务器监听本机 8000 端口,vhost 支持虚拟主机。

cache_peer 192.168.1.50 parent 81 0 no-query originserver weight=1 name=a 
cache_peer 192.168.1.50 parent 82 0 no-query originserver weight=1 name=b
cache_peer 192.168.1.51 parent 80 0 no-query originserver weight=1 name=c

cache_peer_domain a www.serverA1.com
cache_peer_domain b www.serverA2.com
cache_peer_domain c www.serverB.com
#以上六行配置,让 Squid 服务器知道:
#从客户端过来的请求,如果是 www.serverA1.com,则 Squid 向 ServerA 192.168.1.50 的端口 81发送请求;
#从客户端过来的请求,如果是 www.serverA2.com,则 Squid 向 ServerA 192.168.1.50 的端口 82发送请求;
#从客户端过来的请求,如果是 www.serverB.com,则 Squid 向 ServerA 192.168.1.50 的端口 80发送请求;

cache_dir ufs /squid_cache 256 16 256 #指定 Squid 服务器存放数据的目录

acl all src 0.0.0.0/0.0.0.0
http_access allow all

cache_peer_access a allow all
cache_peer_access b allow all
cache_peer_access c allow all
#设置访问权限,允许所有外部客户端访问 a b c(我们定义的三个虚拟主机)

其它配置项默认即可。
注: squid-2.6.STABLE6-4.el5的主配置文件 /etc/squid/squid.conf有四千多行,其中大部分的是注释,应该说根据这个配置文件配置一个基本的代理服务器(正向、反向)比较容易。 我在配置过程中,遇到的主要问题是不知道如何让 Squid对多个服务器作反向代理(不同IP对应的服务器,同一IP不同端口对应的服务 器),在查阅一些文档,做了很多实验后,才做成。其关键配置项就是这两个指令: cache_peer 和 cache_peer_domain。这两个指令也是 squid-2.6 和 squid-2.5的主要区别之一(红帽 RHLE4集成的是 Squid-2.5,RHEL5集成的是Squid-2.6)。在 squid-2.5中,反向代理所涉及到的关键配置指令是:httpd_accel_host, httpd_accel_port, httpd_accel_single_host, httpd_accel_with_proxy, httpd_accel_uses_host_header。httpd_accel_*这一系列的指令,在Squid-2.6中都已经去掉,取而带之的 是 cache_peer, cache_peer_domain, cache_peer_access 这三个指令