在这个课程里，我们将学习如何保护、查看以及管理FortiAnalyzer上的日志。通过了解FortiAnalyzer的日志记 录，可以使用日志数据修复和分析基于网络的攻击，以及对网络问题进行调查和故障排查。
这是我们在课程里将学习的主题，从日志概述开始。
在这个章节结束后，你应该可以完成这些任务。通过日志概述的学习，你应该可以更有效的从数据库中分析日 志数据。
日志信息对网络中发生的情况进行画像。 可以了解网络设备的负载、跟踪服务使用、以及识别网络中的安全漏 洞。然而，了解日志非常重要—必须把多条日志放在一起，得到问题的完整情况。通常需要多个日志信息来确 定导致威胁的精确链条—一条单个日志通常不能帮助你更好的配置网络，以阻止未来的安全威胁。
这也是为什么集中日志存储非常重要的原因。
在一些地理区域和一些商业领域，会有需要强制执行的条例，企业要记录指定的信息并存储最少时间的日志。
条例通常详细指定日志类型和数据需要，因为这些日志条目可被用于未授权或非法活动的证据。数据必须能在 法庭上有效力，所以，了解和分析日志非常重要。
然而，信息举出也是个问题。必须确保在保证正常工作的前提下，记录的信息足够满足条件。 太多的数据和太少的数据一样糟糕 (在某些方面更差)。
很重要的一点是不仅要收集存储日志，还要能有效的管理日志。如果不建立管理日志的最佳实践，会导致数据 丢失，甚至收入减少。特别是由于网络攻击导致的法律案件，日志是可以在法庭上提供的，必不可少的数据。
一些最佳实践包括：
- 保留什么需要被记录日志和为什么记录日志的文档。如果你需要基于以前的日志数据调查一个新的事件，可
- 以查看文件并确切了解你记录的日志，以了解识别出的问题可能性。
- 确保所有设备和应用的数据都被捕获且没有被过滤。监视设备确保日志在正常发送。
- 使用通用格式集中日志存储。因为不需要检查多个位置的日志数据，会使工作变得更轻松。
- 所有的设备上同步时间。如果防火墙时间是上午3点，FortiAnalyzer时间是上午12:30，而电脑时间是上午 8:56，交叉引用日志会变得非常困难。
- 维护日志备份，执行指定日志保留周期的策略。
- 定义规程保证数据的完整性
- 测试并再次测试事件响应计划，确保计划可行以及其他管理员明白各自的角色。
为了能分析和解释日志，了解不同的日志类型、其中包含的信息以及FortiAnalyzer从每个支持的设备上收集什 么样的日志非常重要。
正如在FortiGate培训中学习到的，有三种日志类型：traffic logs、event logs和security logs。每种日志类型有 对应的日志子类型。
FortiAnalyzer显示的日志依据设备的日志记录类型以及开启的功能。本页表格列出了FortiAnalyzer从不同类型支持的设备的日志类型和子类型。注意要支持非FortiGate设备必须开启ADOM。
当注册设备发送日志到FortiAnalyzer时，日志进入下列自动工作流程：
1. 原始日志被压缩并保存到FortiAnalyzer硬盘的日志文件。最终，当日志文件到达指定大小时，将会分卷并被归档。
日志在压缩阶段被称为归档日志。这些日志被视为离线，不提供实时分析支持。如果需要在归档日志上做分 析，可以使用日志读取功能。日志读取将在本课程后续章节讨论。
2. 同样的日志同时在SQL数据库中被编入索引以支持分析。ADOM数据策略决定日志在分析中保留的时长。
日志在编入索引阶段被称为分析日志。这些日志被视为在线，可提供实时分析支持。
分析日志从SQL数据库中清除依据每数据策略， 但仍然在归档中保留压缩。最终，归档基于ADOM数据策 略配置被删除。
你现在已经了解了基础日志的日志概述。
接下来学习保护日志数据的方式。
在这个章节结束后，你应该可以完成这些任务。通过使用不同方式保护日志的学习，你应该能够满足企业的或 法律的日志需求。
如在第二章中讨论过的，保护日志的一种方式是使用RAID。RAID在FortiAnalyzer发生紧急事件时，有一份日志的备份。不是在所有的FortiAnalyzer型号上支持。
即使已使用了RAID，仍然不能代替日志备份。可以通过GUI 或 CLI备份日志。
- Log View 允许下载指定的指定过滤视图。
- Log Browse 允许下载分卷的日志。FortiAnalyzer也提供基于时间表上传日志到FTP、 SFTP 或 SCP服务器的选项。
- CLI命令执行备份日志可发送任意日志到任意或指定的设备。数据在发送前被压缩，所以传输不能即时开始。设备需要处理日志并在归档中存储，这将花费一些时间。批量日志备份可能包含大量数据，确保服务器有足 够的硬盘空间。
也可以使用 GUI 和 CLI恢复日志。
日志传输方面，可以通过冗余的方式保护日志。在FortiGate-FortiAnalyzer环境里， 有以下选项：
一个选项是配置发送相同的日志到第二个日志服务器 ，例如第二个FortiAnalyzer 或syslog。注意因为日志后台 程序必须处理额外的TCP连接到第二日志设备，所以将提高FortiGate设备的负载。但如果系统选型适当，则不需要考虑额外的负载。此选项对低端FortiGate 不适用，不支持第二台设备。
另一个选项是设置日志转发为汇聚模式。通过中心 (汇聚) 设备应该是更高端的FortiAnalyzer，但不是必须的。 收集器将发送日志数据(增量变化)到汇聚服务器。两个设备对存储的数据做比较，收集器只发送分析器没有的 数据。这不仅能降低发送流量的数据，还能提供冗余性。如果分析器发生灾备切换，收集器发送所有数据并自 动在分析器中重新载入。汇聚模式只在两个FortiAnalyzer间支持。
除了汇聚之外 ，日志转发还有只适用于两个FortiAnalyzer设备之间的其它转发模式。FortiAnalyzer也可以以实 时模式转发日志到syslog服务器、Common Event Format (CEF) 服务器、或其它FortiAnalyzer。转发日志到其 它设备的FortiAnalyzer为客户端，而接收者是服务器端。
要配置日志转发，必须完成下列步骤：
- 设备日志转发模式：实时、汇聚或混合。 • Realtime 模式日志即收即发。不能转发内容文件 (DLP、防病毒隔离和IPS)。 • Aggregation 模式存储日志和内容文件并在预定的时间上传到FortiAnalyzer服务器。 • Mixed (both) 模式日志即收即发，存储内容文件并在预定的时间上传。
- 配置服务器 (日志接收者)。
- 配置客户端 (FortiAnalyzer转发日志)。这里也可以指定哪些设备的日志被转发，以及设置日志过滤，只有匹配过滤条件的日志才会发送。
除了转发日志之外 ，FortiAnalyzer客户端保留一份日志的本地备份。 本地日志备份对FortiAnalyzer客户端的归档日志由数据策略决定。
最后，可以通过加密设备间的日志通讯保护日志。
当信息在FortiAnalyzer和FortiGate之间同步时，使用基于SSL的Optimized Fabric Transfer Protocol (OFTP)。 OFTP监听TCP/514和UDP/514端口。
OFTPS是FortiAnalyzer和FortiGate间安全通讯的默认设置。
SSL通讯在FortiAnalyzer和FortiGate之间自动 协商，因此oftpd服务器只要用于连接FortiGate，都将使用SSL加 密的FTP。默认情况下，FortiGate使用“default” 加密级别，FortiAnalyzer 使用 “low”。FortiAnalyzer的加密级 别必须等于或小于FortiGate的加密级别。
为了防止存储中的日志被修改，可以通过config system global命令添加日志检验和。当日志被分卷、归 档以及日志被上传(如果功能开启)时，可以配置FortiAnalyzer记录日志文件hash值、时间戳、和认证代码 。这 可以帮助从FortiAnalyzer到SFTP服务器上传日志传输数据时，防御中间人攻击。
下列日志校验可用：
- md5：只记录日志文件的MD5 hash值
- md5-auth：记录日志文件的MD5 hash值和认证代码
- none：不记录日志文件校验和
也可以通过config system certificate oftp命令，改变 OFTP证书为自定义证书。需要 PEM格式证书 和相关联的PEM格式私钥。
你现在已经了解了如何保护日志。
接下来学习查看和搜索FortiAnalyzer中的日志。
在这个章节结束后，你应该可以完成这些任务。通过学习查看和搜索日志，你应该可以有效的定位日志，帮助你研究网络安全问题。
Log View 查看每ADOM的流量日志、事件日志和安全日志。可以限制查看ADOM中的一个或多个设备或一个日志组，日志组是配置在一个单独的逻辑对象中的一组设备。
日志组是虚拟的，没有SQL数据库或占用额外的硬盘空间。
要实现在Log View 中搜索指定的日志，从左侧菜单选择日志类型，然后设置适当的过滤器。在这页显示的示例中，过滤器设置为分类描述 “Malicious Websites”。也可以指定ADOM中的所有设备或特定设备，并设置时间范围。
也可以通过添加或移除列、查看实时或历史日志、原始日志或格式化日志来改变查看视图。
双击日志条目可以查看日志更多信息，详情窗格出现在屏幕右侧。
使用在Tools菜单中的Custom View 选项保存常用搜索为自定义视图。设置过滤器，执行搜索，然后在自定义视图下保存搜索。
如果日志数据存在，但搜索过滤器不能返回任何结果，过滤器可能没有正确建立。FortiAnalyzer在日志里查找 精确的匹配，所以必须正确建立SQL搜索字符串。
这里是一些日志搜索或日志搜索排错的技巧：
- 在Tools菜单中检查是否开启了Case Sensitive Search。关闭选项可以提高搜索的灵活性。
- 在包含需要搜索数据的日志表中发现日志。例如，如果你需要搜索包含代码注入的攻击，在数据上右键点击，出现的弹出窗口里有自动设置好的搜索过滤器。如果选择搜索过滤器，将返回基于过滤器的结果。
- 当设置过滤器时，可以在下拉列表中选择一个现有的过滤器，或输出自己的过滤器名称。过滤器名称在SQL 表中，如果不知道适当的过滤器名称，可以通过Column Settings开启列(可能需要随后刷新页面)，过滤器 会在下拉列表中作为选项出现。
FortiView是另一个查看日志数据的方式。FortiView在单独的、汇总的视图中集成实时和历史数据。只有分析日 志可以显示，归档日志不显示。在FortiView中每个ADOM有各自的数据分析，在查看FortiView的内容之前，确保在正确的ADOM里。
FortiView可以用图表和图形格式查看FortiGate和FortiCarrier的日志数据汇总。举几个例子，可以查看网络中的 威胁排名、网络流量的源排名和网络流量的目的排名。对于每个汇总视图，可以下钻查看详细信息，以及设置过滤器显示指定数据。
FortiView有价值的一个功能是Indicator of Compromise (IOC)。通过检查新的和历史日志，对比基于 FortiGuard订阅的IOC特征，IOC引擎检测终端用户可疑Web使用率威胁情况。
FortiAnalyzer的威胁检测引擎使用FortiGuard Threat Detection Service (TDS)情报分析web过滤日志进行威胁 检测。TDS情况每天更新，防御最新的威胁。注意，由于防病毒、IPS等威胁已经通过FortiGate上的服务被检 测或阻止，所以AV/IPS等日志不被使用。当发现威胁匹配，将基于来自TDS的整体分级分数，给用户一个威胁 分数。当检查完成，FortiAnalyzer 汇总一个终端用户的所有威胁分数，给出终端用户的整体IOC判定。判定可 以是下列之一：
- Infected：表示一个真实的威胁。在web日志中发现了匹配或匹配了列入黑名单的IP/域名生成算法 (DGAs)。
- Highly Suspicious：表示一个可能的威胁。
需要恶意软件、僵尸网络、入侵的报告和更多的历史审计，可以查看 Threat Report。
配置IOC需要下列步骤：
- 来自FortiGuard的Threat Detection Service (TDS)数据包。
- IOC的一年订阅。注意，FortiAnalyzer包含试用许可，但是受限的，只能给出功能如何工作的概念。
- FortiAnalyzer的FortiGuard TDS服务订阅
- FortiGate的Web过滤服务订阅
- FortiGate的Web过滤策略，并发送流量到FortiAnalyzer。
这里是FortiView中IOC命中的示例。威胁检测引擎已检测出一个真实的威胁， 并指示为 Infected 判定。 # of Threats 列指出关联此次命中有7种不同的威胁。
也可以查看两种主要的情报类型：
- 黑名单，包含针对僵尸网络、DNS黑洞的可疑IP，以及DGA的域名。
- 可疑列表，每个URL都与一个分级分数关联。分级分数与威胁情报众包关联——一天处理一次。
在IOC FortiView上，可以：
- 添加过滤器过滤条目，指定设备或时间段。可以查看最多7天的历史—每个测试使用当天的威胁情报。
- 通过点击Acknowledge列中的Ack，确认IOC(仍可以查看确认的IOC)
- 双击条目下钻查看威胁详情。
在FortiView中，如果IP地址不能解析为主机名，必须在FortiAnalyzer上配置本地DNS服务器。然后输入本页中 的CLI命令。
由于需要解析，在每次FortiView刷新时，会带来轻微的延迟。在大型环境中，依据需要解析的IP数量和DNS服 务器的速度，延迟可能会更加明显。
最佳实践是推荐在FortiGate端解析IP。这是因为同时获取了源和目标，并从FortiAnalyzer卸载了工作。在 FortiAnalyzer，IP解析仅支持目标IP。
通过FortiAnalyzer，可以开启日志读取。这是允许FortiAnalyzer从另一台FortiAnalyzer读取指定设备的归档日 志，这些归档日志可以运行查询或报告用于取证分析。通过下列方式，日志读取极大的简化了基于日志数据的 报告生成：
- 管理用户可以选择设备和索引的时间周期。
- 允许对索引的日志的自定义日志保留设置进入到ADOM，以适应基于过去日志的报告生成需要。
- 避免日志重复，可能从外部备份源中导入时发生。
读取日志的FortiAnalyzer设备作为读取客户运行，其它发送日志的FortiAnalyzer设备作为读取服务器运行。日 志读取只能在两台FortiAnalyzer设备上使用，并要求运行同样的固件版本。FortiAnalyzer设备即可以做读取服 务器，也可以做客户端，不同的FortiAnalyzer设备与对端还可以同时做两种角色。两台FortiAnalyzer 设备间每 次只能建立一个日志读取会话。
如果你只有一台FortiAnalyzer，不能使用日志读取。在这种情况下，可以导出和导入日志文件。在重新导入之前，需要从FortiAnalyzer删除已导出的日志文件，避免这种日志出现重复。
你现在已经了解了如何查看和搜索日志。
接下来学习故障排查和管理日志。
在这个章节结束后，你应该可以完成这些任务。通过学习故障排查和管理日志，应该能确保不会丢失有价值的日志数据。
为了了解日志的数量和硬盘配额配置是否正确，可以使用本页中显示的CLI命令收集日志速率和设备使用率统 计。例如，如果日志量太大，则在不能在分析和归档中保留ADOM里配置的时间量的日志。
通过不同的仪表板微件，可以查看日志写入速率、接收速率和日志写入延迟时间。
写入速率 vs. 接收速率 是显示原始日志到达FortiAnalyzer (接收速率) 速率和被SQL数据库及sqlplugind程序索 引(写入速率)的图表。
Log Insert Lag Time 显示日志被接收和被索引之间的时间差。
基于日志速率和设备使用率统计，可能需要调整ADOM硬盘配额，避免丢失有价值的日志数据。
保持监视ADOM中的每台设备的日志速率。如果日志量很大，则增加ADOM配额，防止旧的日志过早丢失。
对ADOM分配的配额不足可能会造成下列问题：
- 不能达到日志保留目标
- 因日志删除和数据库修剪造成不必要的CPU资源损耗
- 如果在报告完成前，配额执行分析数据的动作，会对报告产生不利影响。
除提高硬盘日志配额外，还有什么管理硬盘日志的方法？
可以：
- 指定全局日志分卷策略，当大小超过设置的阀值时，分卷或上传日志文件。
- 对FortiAnalyzer上的全部日志文件、隔离文件、报告和内容归档文件指定全局自动删除策略。
你现在已经了解了如何故障排查和管理日志。
接下来学习如何监视事件。
在这个章节结束后，你应该可以完成这些任务。通过事件处理器的学习，你应该能提高在调查事件时的效率。
在GUI中，Event Management 页面显示所有已开启和已配置的事件处理器产生的事件。
双击一个事件提供更多关于事件的详情，包含相关联的日志。也可以实现对记录保留注释，以及确认事件。点 击事件名称可以链接到FortiGuard，查看指定威胁的更多信息。
事件处理器通过原始日志工作，而不是数据库日志。
事件处理器是指定在Event Management显示的原始日志中匹配的条件。
系统包含一些预定义的事件处理器，可以开启并开始执行Event Management.。也可以配置事件处理器通过邮 件、SNMP trap或syslog服务器发送告警通知。要使用这些告警通知方法，必须首先设置后端 (例如，对邮件通 知的邮件服务器)。
如果没有预定义事件处理器能满足需求，可以创建自定义事件处理器。
当配置事件管理器时，通用文本过滤器可以更精确和更灵活的控制哪些日志会触发事件。支持多种运算符和逻 辑符。可以在问题标记上悬停光标得到示例。
一个小技巧是，可以搜索日志文件中需要添加到事件处理器的原始日志，并复制需要匹配的字符串。
一些日志最佳实践：
- 上传FortiAnalyzer本地日志到远程服务器
- 增加本地事件日志记录级别到debug
- 对关键系统事件配置SNMP trap
- 对每天的分卷日志配置日志上传
课程目标回顾。