在这节课中将向你展示如何设置过滤器来控制网站访问。该功能通常由网络管理员使用。
在完成这一课程后，你应该具备这些实用技能：
识别FortiGate web过滤机制
选择适当的web过滤模式来管理和跟踪web内容
应用web或DNS筛选配置文件
创建静态URL或域过滤器
重写FortiGuard web过滤
应用过滤豁免和评级覆盖
监视web过滤事件的日志
因此，你将知道如何选择适当的URL过滤器方法来阻止、监视、免除或允许网站。
熟悉网站设计和行为，以及HTTP协议，对理解这一课程很有帮助。
Web过滤有助于控制或跟踪人们访问的网站。
网络管理员应用web过滤的原因有很多，比如：
保护雇员的生产力
防止网络拥挤，在非商业目的中使用有价值的带宽
防止丢失或暴露机密信息
减少基于网络的威胁
当员工访问或下载不适当或有攻击性的材料时，限制法律责任
防止员工下载或传播受版权保护的材料造成的侵权行为
防止儿童观看不适当的内容
有两种方法可以将过滤应用到网站：web过滤和DNS过滤。
让我们从定义如何处理URL过滤过程开始。
FortiGate web过滤器也是安全配置文件，根据所选的检查模式可定制。因此，在设置任何web过滤器之前的第一步是配置检查模式。检查模式是一个系统设置，在VDOM级别可定制。
当你的FortiGate被设置为代理检查模式时，也必须定义一个代理选项配置文件。这个配置文件决定了你的安全配置文件将使用的协议，例如，检查web或DNS流量。
注意，HTTPS检查端口号和与SSL处理相关的其他设置在SSL/SSH检查配置文件中分别定义。
FortiGate的检查模式对过滤网站有不同的考虑：
基于流的web过滤是通过分析客户端和服务器之间的流量的TCP流来实现的。它提供了更少的灵活性，并且有更少的配置选项来检查web流量。它在第3层拦截，并与第4层数据一起工作。
基于代理的web过滤是使用一个透明代理来实现的，该代理可以拦截客户端和服务器之间的通信。基于代理的提供了更多的灵活性来检查web流量，因为它在第7层拦截。它还有更多的配置选项。但是，请注意该选项会占用更多的CPU资源。
如前所述，你还可以检查DNS流量，但是这个选项仅限于基于代理的模式，并且作为一个新的安全配置文件功能。
它是如何工作的?
该选项过滤了在HTTP GET请求之前发生的DNS请求，而不是查看HTTP协议。这样做的优点是非常轻，但是代价很高，因为它缺乏HTTP过滤的精确性。
每个协议都将生成DNS请求以解析主机名，因此这种过滤将影响所有依赖于DNS的更高级别协议，而不仅仅是web流量。例如，它可以对FTP服务器的DNS请求应用FortiGat分类。除了主机名过滤之外，很少有web过滤功能，因为在检查时可用的数据量。
这个例子说明了传统的HTTP过滤器和在DNS查找过程中过滤的区别。
DNS过滤检查nameserver响应，这通常发生在你连接到一个网站的时候。
Web过滤查找HTTP 200响应，当你成功访问该站点时返回。
如上所示，在HTTP中，域名和URL是分开的。域名可能在header中是这样的：host:www.acme.com，URL可能在header中是这样的：/index.php?login=true。
如果我们按域过滤，有时它会阻塞得太多。例如，tumblr.com上的博客。由于所有不同的作者，被认为是不同的内容。在这种情况下，你可以更具体一些，并且可以通过URL部分，例如。
记得Host: 头吗？这就是在HTTP请求之前进行DNS查找的情况。
显然，URL不在DNS请求中。
让我们来总结一下web过滤检查模式。
基于代理会缓存流量，因此它会导致明显的延迟，这取决于文件的大小、超大的限制和连接速度。但是，它支持更多的web过滤特性。
与基于代理的相比，基于流的吞吐量更高，因为它不缓存数据，所以没有传输延迟。
基于DNS是非常轻量级的，因为它只处理名称服务器查找，但是由于它没有看到完整的URL，所以会受到精度问题的影响。
现在，让我们来看看如何通过查询FortiGuard分类来应用DNS和web过滤。
相对于屏蔽或允许网站单独使用，加强FortiGuard类别过滤可以查看一个网站被评级的类别。该操作基于该类别，而不是基于URL本身。
FortiGuard分类筛选是一种需要主动合约的实时服务，这将验证与FortiGuard网络的连接。如果合同期满，在服务中断之前，有7天的宽限期。因此，在7天宽限期之后，FortiGate将无法对网站进行评级，每一次访问都将被视为一个评级错误。
另外，可以将FortiManager配置为一个本地的FortiGuard服务器。为此，需要将数据库下载到FortiManager中，并配置你的FortiGate，以验证这些类别是FortiManager，而不是FortiGate。
FortiGuard是如何决定类别的?
网站分类是由自动和人工方法决定的。这支FortiGuard团队有自动的网络爬虫，可以查看网站的各个方面，以获得一个等级。还有一些人会检查网站，并查看评级要求以确定类别。
要查看审查的类别和子类别的完整列表，可以访问www.fortiguard.com/webfilter。
那么，它是如何工作的呢?
FortiGate查询FortiGuard分布网(FDN)，或者是FortiManager，如果它已经被配置成一个本地的FortiGuard服务器来决定一个被请求的网页的类别。
因此，当用户访问网站时，FortiGate使用了FortiGuard直播服务，以找出URL的类别，并为该类别采取一个配置动作，允许或阻止访问。有了这个功能，你可以执行批量的URL过滤，而不需要单独定义每个网站。
另外，要使用FortiGate的DNS过滤器，你必须使用FortiGuard DNS服务来进行DNS查找。DNS查找请求发送到FortiGuard DNS服务返回，并带有一个IP地址和一个域级别，其中包括了网页的FortiGuard级别。
你可以在web过滤器或DNS过滤配置文件中启用FortiGuard类别过滤。列出了类别和子类别，并且执行的操作可以单独定制。
可用的操作是：允许、阻止、监视、警告和认证。警告和认证都是基于类别的操作。让我们看看它们是如何工作的。
警告操作仅适用于基于代理的检查。这一行动通知用户，要求访问的网站不被互联网政策所允许。但是，它可以让你选择去网站或者回到以前的网站。
可以对警告间隔进行定制，这样你就可以在配置期间的特定时间内显示这个警告页面。
认证操作也是基于代理的检查，FortiGuard基于种类动作。除非用户输入成功的密码，否则此操作将阻塞所请求的网站。
允许访问这个类别的时间间隔是可定制的。因此，如果用户访问同一类别中的其他网站，用户就不会再次进行身份验证，直到计时器过期。
你可以应用此操作来定义属于任何身份验证组的个人用户。
还有另一个功能就是可以定制时间的配额，以访问在web过滤配置文件中设置的监控、警告或认证的类别。
你可以定制多个配额(计时器)。每一个都可以被链接到一个单独的类别或多个类别。如果配额适用于多个类别，那么计时器将在所有类别之间共享，而不是为每个类别单独使用一个计时器。
如果没有启用身份验证操作，那么就会自动为每个源IP分配配额，就像监视器功能所显示的那样。
让我们看看配额是如何工作的。
正如图中所示，FortiGuard配额限制了用户在网站上花费的时间。
一旦网站载入浏览器，限额就不能重定向。例如，如果你的配额有45秒的时间，你可以从这个类别访问一个网站，它很可能在剩下的45秒内完成加载。然后你就可以呆在那个网站上，直到浏览器刷新，它才会被屏蔽。
这样做的原因是，与网站的连接通常不是一条实时的流。一旦接收到信息，连接就关闭了。
一些FortiGate无法直接向用户提供反馈。例如，除非启用了Fortinet bar，否则在用户超过限额并刷新浏览器之前，FortiGuard不会提供任何反馈。
Fortinet bar注入了一个Java applet，它可以与FortiGate通信，并从没有直接反馈的特性中获得额外的信息。
Fortinet bar为FortiGuard配额提供了倒计时。其他不能屏蔽页面的特性(例如，应用程序控制)将显示顶部栏中的块事件。
FortiGate可以在内存中保存最近网站的评级响应列表，所以如果这个URL已经被知道，FortiGate就不会返回一个评级请求。
有两个端口可用来查询服务器(FortiGuard或FortiManager):端口53和端口8888。端口53是默认的，因为它也是用于DNS的端口，几乎可以保证是打开的。然而，任何形式的检查都将显示此流量不是DNS，并防止服务工作。在这种情况下，你可以切换到备用端口8888，但是该端口不能保证在所有网络中都是开放的，因此需要预先检查。
缓存响应减少了为网站建立一个等级所花费的时间。此外，内存查找比在Internet上运行的包要快得多。
超时默认为15秒，但如果需要的话可以调整为30秒。
在评级中总是有可能出现错误，或者你根本不同意给出的评级。因此，你可以使用web门户来联系FortiGate的团队，以提交一个新的评级的网站，或者如果它还没有在数据库中，就可以获得它的评级。
类别过滤不像静态URL过滤那样细粒度。如果你想要更改任何默认的FortiGuard类别，那么FortiGate将提供一个覆盖选项。
当使用FortiGuard类别过滤来允许或阻止访问某个网站时，一个选项是让web评分覆盖，并将网站定义为一个不同的类别。Web评级仅针对主机名称，不允许url或通配符。
如果合同到期，而7天宽限期过去，网络评级的覆盖将是无效的。所有的网站分类仍然被认为是等级错误。
例如，如果你想要做一个例外，而不是对一个潜在的不需要的类别进行访问，只需要将网站更改为一个允许的类别。反过来也可以被执行，你可以阻止一个属于一个被允许的类别的网站。
请记住，改变类别并不会自动为网站带来不同的行动。这将取决于web过滤配置文件中的设置。
如果FortiGuard内的预定义类别不适合这种情况，你可以添加额外的自定义类别。
可以根据需要添加和删除这些定制类别，只要它们不使用即可。
你还可以重写过滤器配置文件。Web配置文件重写更改用于检查流量的规则。它授权一些用户、用户组或预定义的源IP，使用不同的web过滤器配置文件来检查他们的流量。
在这里展示的例子中，应用于用户的新配置文件从那个点开始检查所有的web流量，直到计时器过期。要使用此功能，必须启用重写身份验证。一旦启用了web配置文件重写，FortiGuard阻止页面将显示一个链接，用户可以选择该链接来**重写。
只有在设置了基于代理的检查时，才可以使用此功能。
正如你已经注意到的，web过滤仅适用于HTTP协议。那么，如何通过HTTPS来扫描流量呢?
通过SSL检查配置文件的设置，可以对HTTPS站点进行扫描。这个安全配置文件也必须应用到防火墙策略中。
SSL证书检查方法只从hello消息中读取未加密的数据，而完整的SSL检查方法将代理SSL，允许进行完整的内容检查。
在后面证书操作课程中，更详细地介绍了SSL和证书。
让我们检查DNS和web过滤安全性配置文件，它允许你执行单独和本地的过滤操作，而不是使用FortiGuard类别。
下面是新的DNS过滤配置文件。只有在设置基于代理的检查时，才可以使用此安全配置文件。
DNS过滤器包含各种配置设置。你可以启用或禁用基于FortiGuard的基于类别的过滤器和静态域过滤器。你也可以选择:
阻止DNS请求到已知的僵尸网络命令和控制，
当在FortiGuard web过滤服务中出现一个等级错误时，允许DNS请求。
将阻塞的请求重定向到特定的门户(推荐Use FortiGuard Default设置)。
一旦你启用并保存了你所需要的设置，请记住将此配置文件应用到你的防火墙策略以**选项。任何被该政策检查的流量都将有应用于此的操作。
你可以配置DNS过滤，以允许、阻塞或监视通过静态域过滤器对web内容的访问。在访问的网站上对域列表中的条目进行检查。如果找到匹配，就会采取已配置的操作。
类型简单的模式是精确的文本匹配。通过允许通配符和部分匹配发生，设置到通配符的模式允许在文本模式中有一定的灵活性。用于正则表达式的模式允许使用PCRE正则表达式。
有了这个功能，因为最初的查找失败了，你就可以防止很多HTTP请求的产生，这是以性能为代价的。
当你从DNS过滤器配置文件中启用了阻止DNS请求时，DNS查找将与僵尸网络命令和控制数据库进行核对。该数据库由FortiGuard动态更新，并储存在FortiGate。
所有匹配的DNS查找都被阻塞。匹配使用反向前缀匹配，因此所有子域也被阻塞。
此服务需要一个活动的web过滤许可证。
现在让我们看一下web过滤配置文件。
这个安全配置文件支持基于代理的和基于流的检查模式。但是，根据你选择的模式可用的设置是不同的。基于流的检查可用选项比较少。
在本例中，FortiGate将执行基于代理的检查。根据先前的解释，FortiGuard类型划分为基于类别和子类别的网站。其他本地选项包括:
搜索引擎
静态URL过滤
评级选项
代理选项
配置好过滤器后，将此配置文件应用到你的防火墙策略中，这样过滤器就可以应用于你的web流量。
搜索引擎过滤提供了两个重要的功能：安全搜索和YouTube EDU过滤。
安全搜索是一些浏览器必须在搜索结果中应用内部过滤器的选项。当你对受支持的搜索站点进行安全搜索时，代码被附加到URL以执行它的使用。例如，在Google搜索中，它将意味着在搜索的URL中添加字符串&safe=active。因此，即使在浏览器中不支持本地功能，当它通过时，它也会将它应用到请求中。它支持对谷歌、雅虎、必应和Yandex的安全搜索。
YouTube的EDU过滤是YouTube向教育机构提供的一项服务。与普通的安全搜索不同，它不会附加URL，而是在包中添加一个HTTP头。当你创建你的账户时，它需要YouTube的ID，因为当人们访问YouTube时，它会将你的机构识别到YouTube上。在你的YouTube EDU账户中，你可以配置过滤器和设置，以限制视频访问。
静态URL过滤是另一个web过滤功能。与静态域过滤器类似，URL过滤器中的配置URL在访问的网站上进行了检查。如果找到匹配，就会采取已配置的操作。URL过滤与静态域过滤有相同的模式：简单、通配符和正则表达式。
让我们来看看它是如何工作的。
当用户访问一个网站时，FortiGate会查看相应条目的URL列表。在本例中，该网站与表中的第三个条目相匹配，该条目被设置为简单类型。这种类型意味着匹配必须准确，对于这种模式的局部匹配是没有选择的。此外，该操作被设置为阻塞，因此FortiGate将显示一个阻止页面消息。
你还可以通过阻塞包含特定单词或模式的web页面来控制web过滤配置文件中的web内容。这有助于防止对有问题的页面的访问。
你还可以添加单词、短语、模式、通配符和Perl正则表达式来匹配web页面上的内容。这个功能是在每个web过滤配置文件中配置的，而不是在全局级别上配置的。因此，可以添加多个web内容过滤器列表，然后为每个web过滤配置文件选择最佳列表。
系统管理员可以指定被禁止的单词和短语，并附加一个数值或分数，以表示这些单词和短语的重要性。当网页内容过滤器扫描检测到被禁的内容时，它会在页面中增加被禁止的单词和短语。如果这个总和大于web过滤配置文件中设置的阈值，那么就可以在此页面中屏蔽该页面。
列表中的web内容模式的最大数量是5000。
你可以使用高级的web过滤设置来改进web过滤器。
分级选项：
如果在FortiGuard web过滤服务中出现了一个等级错误，用户将会对所有的网站都有完整的未过滤的访问权限(error-allow)
按域和IP地址对url进行评级。该选项同时发送请求站点的URL和IP地址进行检查，从而为绕过防御系统的尝试提供额外的安全性(rate-server-ip)
阻止HTTP重定向，以避免被设计用来绕过web过滤的网站。
分类镜像的URL。这个选项可以用空格替换被阻塞的图像，即使它们是一个允许的类别的站点的一部分(rate-image-urls)
web过滤的高级代理选项设置是：
屏蔽一些谷歌账户和服务。你可以包含一个异常列表。
在400和500系列的HTTP错误中，FortiGate显示它自己的替换消息。如果允许服务器错误被允许，一些站点可以使用这些常见的错误页面来绕过web过滤。
HTTP POST是你的浏览器在发送信息时所使用的命令，因此你可以限制用户将信息和文件发送到网站。允许选项在扫描或执行其他过滤进程时，防止服务器超时。
从web流量中过滤cookie、Java applet和ActiveX脚本。
最后，让我们研究如何监视web过滤功能并排除任何问题。
请记住，web过滤配置文件有多个功能。因此，如果你启用了其中的许多功能，那么检查顺序如下：
本地静态URL过滤器
FortiGuard类别筛选(确定一个等级)
高级过滤器(例如安全搜索或删除活动的X组件)
对于每一个步骤，如果没有匹配，那么FortiGate将会转移到下一个检查。
你已经配置了你的安全配置文件，但是它们并没有执行web或DNS检查。这是为什么呢？
检查你是否已经将安全配置文件应用到你的防火墙策略中。
基于分类的过滤需要一个实时连接。
你可以通过运行〖diagnose debug rating〗命令来验证与FortiGuard服务器的连接。这将显示一个你可以连接到的FortiGuard IP网关的列表，包括以下信息：
重量：基于在FortiGate和该服务器之间的时区差异(通过流量修改)
RTT：回程时间
标志：D(IP从DNS返回)，I(合同服务器联系)，T(计时)，F(失败)
TZ：服务器的时区
丢失：当前的连续丢失包的数量(在一行中，当一个包成功时重新设置为0)
总计丢失：丢失包的总数
该列表的可变长度取决于FortiGuard的分布网络，但它显示大约10个IP。
现在让我们看一下web过滤日志和报告功能。
这是一个日志消息的示例。访问的详细信息包括关于FortiGuard配额和类别的信息(如果启用了)，则使用了web过滤器配置文件来检查流量、URL以及关于事件的更多细节。
你还可以通过在GUI顶部选择下载原始的log按钮来查看原始的日志数据。下载的文件是一个纯文本文件，以syslog格式。
回顾一下我们讨论过的话题：
网络和DNS过滤概述
静态URL和域过滤
强制安全搜索
FortiGuard类别过滤器
FortiGuard配额
Fortinet bar
网站评级提交
FortiGuard和静态过滤动作
网站评级覆盖
自定义类别
HTTP检查订单
Web profile覆盖
基本的HTTPS扫描
飞塔技术 - 老梅子 QQ：57389522
