Flume Agent介绍:
Flume Agent 连接:
Flume 聚合:
Flume 多路:
Flume Load Balance
用户行为日志采集
Nginx 日志采集
首先一定要明确
flume一般企业搭建是两层:第一层是采集层、第一层是聚合层。
比如这样的架构。
具体,怎么部署呢?
第一种情况(flume只部署在一台机器上)
1、对于flume在单节点上部署,比如有些刚入门只能在单节点的hadoop或spark集群上玩玩。或者,你有3台或5台的hadoop或spark集群,但是呢,你把flume只安装在master节点。如果做了高可用,则是在master1上等。
Flume部署安装详细图文步骤(单节点)
单个flume的agent部署:
第二种情况(flume部署在cloud003和cloud004两台机器上)
(集群是cloud1(master1)、cloud2(备master)、cloud3、cloud4、cloud5)
Flume部署安装详细图文步骤(2节点)
过程:
cloud3从本地文件里去采集数据 –> source 、channle、sink –> cloud4的source -> channle -> cloud4的sink -> cloud1的hdfs上
图一:
图二:
第三种情况(flume部署在hadoop2和haoop3两台机器上)
(集群是hadoo1(master)、hadoop2(slave1)和hadoop3(slave2))
hadoop1、hadoop2和hadoop3的三节点集群。
同时适用于:
第四种情况(flume部署在master、slave1和slave2三台机器上)
集群是master、slave1和slave2
同时,对于flume的aengt配置文件,即flume-conf.properties。压根可以不做任何修改和配置:
因为每个项目有自己的agent所以agent的配置跟着项目走。也就是说,flume压缩包那边的配置文件,是不需做任何修改,换句话说是,不固定化,为了更好适应各个项目自己的agent!