Flume部署及配置

时间:2024-04-05 20:01:38

Flume Agent介绍:
Flume部署及配置
        
Flume Agent 连接:
Flume部署及配置

Flume 聚合:
Flume部署及配置
Flume 多路:
Flume部署及配置
Flume Load Balance
Flume部署及配置

用户行为日志采集
Flume部署及配置
Nginx 日志采集
Flume部署及配置

首先一定要明确
flume一般企业搭建是两层:第一层是采集层、第一层是聚合层。
比如这样的架构。
Flume部署及配置

具体,怎么部署呢?
第一种情况(flume只部署在一台机器上)
1、对于flume在单节点上部署,比如有些刚入门只能在单节点的hadoop或spark集群上玩玩。或者,你有3台或5台的hadoop或spark集群,但是呢,你把flume只安装在master节点。如果做了高可用,则是在master1上等。

Flume部署安装详细图文步骤(单节点)
单个flume的agent部署:
Flume部署及配置

第二种情况(flume部署在cloud003和cloud004两台机器上)
(集群是cloud1(master1)、cloud2(备master)、cloud3、cloud4、cloud5)
Flume部署安装详细图文步骤(2节点)
过程:
  cloud3从本地文件里去采集数据 –> source 、channle、sink –> cloud4的source -> channle -> cloud4的sink -> cloud1的hdfs上
图一:
Flume部署及配置

图二:
Flume部署及配置
 
第三种情况(flume部署在hadoop2和haoop3两台机器上)
(集群是hadoo1(master)、hadoop2(slave1)和hadoop3(slave2))
hadoop1、hadoop2和hadoop3的三节点集群。
Flume部署及配置

同时适用于:
Flume部署及配置

第四种情况(flume部署在master、slave1和slave2三台机器上)
集群是master、slave1和slave2
Flume部署及配置

同时,对于flume的aengt配置文件,即flume-conf.properties。压根可以不做任何修改和配置:
Flume部署及配置
  
因为每个项目有自己的agent所以agent的配置跟着项目走。也就是说,flume压缩包那边的配置文件,是不需做任何修改,换句话说是,不固定化,为了更好适应各个项目自己的agent!
Flume部署及配置

Flume部署及配置

Flume部署及配置

Flume部署及配置

Flume部署及配置