Splunk可以收集由IT系统和技术基础设施产生的各种数据，包括网站、应用程序、服务器、网络、传感器、移动设备等。Splunk可以对这些数据进行搜索，可以对数据进行分析形成报告、图表。Splunk的功能及其强大，特别适合分析网络、服务器的故障、性能等。关于Splunk的详细介绍可以参考官方中文网站：http://zh-hans.splunk.com/。
这里主要对Splunk的日志管理功能进行说明，侧重介绍防火墙的日志分析功能。包括产品介绍、安装、使用、收集Syslog日志、搜索数据、创建图表、使用插件等内容。
一、产品介绍
Splunk Free可以免费使用，主要的限制是每天只能索引500MB数据。Free版没有电子邮件通知之类的告警功能。Free版只有一个管理员用户，而且不能设定密码，不能添加用户，出于安全考虑可以通过Windows服务器防火墙功能限制只能本地使用Splunk。Free版不具有一些高级功能如分布式搜索、高性能分析存储、生成PDF等，不过这不影响使用。一些关键的功能如收集Syslog日志、搜索数据、创建图表、使用插件等功能都可以使用。关于Free版和Enterprise版的主要区别请见网站：
http://zh-hans.splunk.com/view/free-vs-enterprise/SP-CAAAE8W。
IT运维主要对网络设备、服务器、存储、虚拟化等进行监控。主要功能：
IT基础设施：使用 SNMP、流量协议（Netflow、sFlow）、系统日志、PCAP 以及基于 API 的传输跟踪来自无线装置、交换机和路由器、防火墙及其它装置的网络数据，从而监控并满足关键的网络 SLA。
操作系统：适用于操作系统（Windows和各种类型的 Unix 和 Linux）的 Splunk 应用提供了简洁的性能洞察和运营分析，例如性能、可用性、安全性、容量以及变更跟踪数据。
虚拟化：驾驭来自VMware vSphere、Citrix XenServer 和微软 Hyper-V 等流行的服务器虚拟化技术以及 Citrix XenApp 和 Citrix XenDesktop 等桌面虚拟化技术的数据。
Splunk最大的特点就是从IT系统中收集各种数据，并且对这些数据进行分析，让你全面掌控IT性能、容量规划、故障、安全性等。
二、产品安装和使用
1、安装
从网站http://zh-hans.splunk.com/download/下载Splunk，可以60天免费试用Enterprise版，每天最多可对 500MB 数据建立索引。之后可以转换为Free版。在Windows Server上安装极其简单，这里就不介绍了。安装程序支持各种主流的操作系统如Windows、Linux、AIX、Solaris、HP-UX、Mac OSX等等。可以在虚拟化环境中使用Splunk。关于产品的详细文档请参考链接：http://docs.splunk.com/Documentation/Splunk。
默认的情况下Splunk会使用8000 端口，如果是在本机登录Splunk，你可以直接在浏览器地址栏输入http://localhost:8000
2、收集数据
接下来主要介绍如何导入JuniperSSG140防火墙的日志。
点击右上角的导航“设置”- “添加数据”。
在“添加数据”中点击“监视”。
在“添加数据”中选择“TCP/UDP”，在右侧选择“UDP”，在“端口”中输入“514”（Syslog默认使用端口514）。点击“下一步”。
在“输入设置”中的“Sourcetype”选择“手动”，并输入“syslog”。点击“检查”
点击“提交”完成“添加数据”。
完成之后就可以查看收集的数据。
3、防火墙设置
在Juniper SSG 140防火墙“Configuration> Report Settings > Log Settings”中对Syslog选择需要收集数据的“SeverityLevels”。点击“Syslog”设置Syslog接受服务器。
在“IP/Hostname”中输入Splunk服务器的IP地址。选择正确的“SourceInterface”，并确保网络畅通。
4、查看日志
在“搜索”中进行搜索或点击“数据摘要”。
在数据摘要中可以按照“主机”、“来源”、“来源类型”查看收集的数据。
5、搜索日志
数据收集之后需要进一步分析才能对获取我们需要的结果。
如对防火墙“192.168.1.1”中受到拒绝的源地址日志，可以在搜索框中搜索：
host="192.168.1.1" "src=192.168.1.2""action=deny"
其它搜索方法请见官方文档，或者访问以下网站：
http://www.netis.com.cn/splunk/splunk-search-tutorial/
三、创建仪表板和图表
通过仪表盘和图表可以快速直观的判断防火墙问题所在，这里介绍如何使用仪表板对防火墙的流量进行分析。防火墙日志中记录了经过防火墙的源地址和目标地址流量信息。
1、在“仪表板”中，在标题中输入如“Firewall_Flow”，在ID中输入一个未使用的ID。
2、在“编辑：FirewallFlow”中“添加面板”，在“新建”中点击“新建饼图”，选择“1小时窗口”，输入内容标题和搜索字符串：
host="10.24.100.253"permit | addtotals fieldname=sum1 sent rcvd | stats sum(sum1) AS byte by src |sort - byte
这样可以直观的看到通过防火墙的来源地址数据流量。还可以在“编辑”中将仪表板“设置为主页仪表板”。
我的Splunk主页上显示防火墙实时流量图表。
四、使用插件
插件是Splunk的特色功能，不使用插件也可以分析收集到的数据，但对于使用者来说会非常困难，需要熟悉Splunk的搜索命令。如果使用插件，就可以非常方便的对已知问题进行分析。
可以从网站http://www.splunk.com/en_us/products/apps-and-add-ons.html下载插件。安装插件也非常简单，可以从主页上的“应用”进行插件的安装和管理。
我使用了“Splunk for JuniperFirewall”插件，用来分析防火墙Juniper的通信日志。可以非常方便的分析被拒绝访问的源地址和目标地址。
五、总结
总体来说，Splunk功能非常强大，几乎可以监视IT系统的各个方面。但Splunk使用起来也不是很容易，需要具备较强的IT系统知识。建议有一定经验的IT系统管理员使用Splunk。
转载于:https://blog.51cto.com/jetye/1698250