网络流量收集与分析/回溯分析系统
2019/10/14 Chenxin
Moloch
2019/10/14 Chenxin
参考
https://github.com/aol/moloch 官网
https://cloud.tencent.com/developer/article/1404875 非官方手册,功能使用截图展示
简介
Moloch
Moloch is a large scale, open source, indexed packet capture and search system.
谈及 Moloch, 想必大家都知道” moloch 是一个开源的、大规模的 IPv4 数据包捕获（PCAP），索引数据库系统。“ 它以标准 pcap 格式存储和索引网络流量提供快速的索引访问，从而减少可疑事件的分析时间。
收集所有网络流量信息,存储,分析,图标展示.有点类似sniffer的统计预览功能.
存储的PCAP文件,进行分析,图形化展示源于目的的访问关系.展示流量图等.
节选:在工作中，我使用的是国内某家公司的全流量分析系统，相比之下，我认为 Moloch 作为一款开源系统，其对流量数据的解析功能非常强大，可以花式构造过滤语句。但毕竟以流量为主，不具备基于行为或特征之类的常见检测机制，如果需要，可以配合 Snort、Bro、Suricata 等检测系统。（Moloch 可将 Suricata作为插件结合，有兴趣的朋友可以试试）
流量回溯系统通常都会面临这样几个问题：
1、数据包的存取和协议的分析；
2、数据量很大的时候检索的速度。
我们设想一下使用 tshark 、Wireshark 对一个 几十 GB 的数据包进行分析时，包的加载都会是一个很头疼的问题，更不用说过滤表达式的应用。而 Moloch 在这方面就具备了独特的优势
科来
类似的其他方案(商业,提供免费试用).
http://www.colasoft.com.cn/ 科来网络分析系统(网络回溯).研发中心-成都.
科来作为全球领先的网络流量分析企业，专注与“网络数据分析”、“高级木马研究”、“数据安全取证”等方面的研究。
科来网络分析系统是一款专业的通过抓取网络数据包进行网络检测，网络协议分析工具，可实时监测网络传输数据，全面透视整个网络的动态信息。除了能实时检测每台电脑的上网情况，邮件收发情况，网络登录情况，网络流量外，还具有强大的数据包解码分析功能，可诊断网络故障，定位网络瓶颈，检测网络安全隐患。
PB量级数据秒级回溯分析,基于元数据的大数据分析技术.
下载
http://www.colasoft.com.cn/download/capsa.php 下载中心->技术交流版 下载.无需注册，无需激活，免费使用.(Windows版本).
安装部署
https://github.com/aol/moloch 官网
数据的来源是交换机的镜像端口，moloch 系统主要涉及三个组件 Capture，elasticsearch 和 Viewer .
Capture （绑定 interface 运行的单线程 C 语言应用 ）用来抓取流量并以 pcap 的格式存储到硬盘上面，还会存一份对应关系到 elasticsearch （moloch 的数据检索驱动）中，Viewer（运行在 capture 主机上的 node.js web应用 ） 提供 web 界面，以下为 Moloch 的单个主机部署架构图。
使用说明
https://github.com/aol/moloch 官网
可以通过页面展示里,输入3389过滤条件(win远程端口),展示有哪些机器访问了哪些机器的3389端口.并以图片方式形象的方式展示出来.
具体略.